JP2023014351A - ビジョンシステムの3次元校正のためのシステム及び方法 - Google Patents

ビジョンシステムの3次元校正のためのシステム及び方法 Download PDF

Info

Publication number
JP2023014351A
JP2023014351A JP2022193795A JP2022193795A JP2023014351A JP 2023014351 A JP2023014351 A JP 2023014351A JP 2022193795 A JP2022193795 A JP 2022193795A JP 2022193795 A JP2022193795 A JP 2022193795A JP 2023014351 A JP2023014351 A JP 2023014351A
Authority
JP
Japan
Prior art keywords
calibration
vision
calibration target
image data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022193795A
Other languages
English (en)
Inventor
ワン,シャオガン
Xiaoguang Wang
ビアン,ユクン
Yukun Bian
スン,リ
Li Sun
ワイ. リ,デイヴィッド
Y Li David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of JP2023014351A publication Critical patent/JP2023014351A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39038Determine position of two cameras by using a common reference grid
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ターゲットの正確な事前校正の必要性を取り除く多層3D校正ターゲットを使用して3Dビジョンシステムを校正するためのシステム及び方法の提供。【解決手段】本発明のシステム及び方法は、異なる空間的位置と異なる時間で多層3D校正ターゲットの画像を取得し、2つの取得間の3D校正ターゲットの向きの差を計算する。この技術を使用して、ビジョンベースの単一面の向きの再現性の検査と監視を実行できる。この技術をアセンブリ作業面に適用することにより、ビジョンベースのアセンブリ作業面の向きの再現性、検査、及び監視を行うことができる。この技術は、移動ロボットエンドエフェクタと組み合わせて、ビジョンベースのロボットエンドエフェクタの向きの再現性の検査と監視を提供する。平行性を達成するために2つの面の視覚誘導調整を実現できる。このシステム及び方法は、ロボットのエンドエフェクタとアセンブリ作業面の平行性を達成するために、正確な視覚誘導型ロボットのセットアップを実行するように動作する。【選択図】図1

Description

関連出願
本出願は、2020年3月18日に出願された「ビジョンシステムの3次元校正のためのシステム及び方法」と題する、同時係属中の米国特許出願第62/991,430の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。
発明の分野
本発明は、マシンビジョンシステム用途で使用される校正システム及び方法、並びに校正オブジェクト(ターゲット)に関する。
マシンビジョンシステム(本明細書では「ビジョンシステム」とも呼ばれる)では、1台以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、コードの復号、アライメント、及びその他の自動化された様々なタスクを含むことができる。より具体的には、ビジョンシステムを使用して、撮像されたシーン中に存在する工作物を検査したり、場所間を移動ロボットエンドエフェクタを誘導したりすることができる。シーンは通常1台以上のビジョンシステムカメラによって撮像され、これらのビジョンシステムカメラは、関連するビジョンシステムプロセスを操作して結果を生成する内部又は外部ビジョンシステムプロセッサを含むことができる。ビジョンシステムが十分な精度と信頼性でビジョンタスクを実行できるようにするために、1台以上のカメラと撮像されたシーン内のオブジェクト又は表面との間の空間的関係を確定することによってシステムを校正することが一般に望ましい。このプロセスでは、校正オブジェクト若しくは校正ターゲットを使用して、校正されるオブジェクト又は表面の空間特性(位置や向きなど)を表わすことができる。例として、工作物の画像は、2次元(2D)画像ピクセルデータ(例えばx座標及びy座標)、3次元(3D)画像データ(x座標、y座標及びz座標)又はハイブリッド2.5D画像データによって特徴付けることができ、2.5D画像データでは複数のx-y座標面が実質的に平行であり、可変なz高さによって特徴付けられる。
校正オブジェクト若しくは校正ターゲット(しばしば「プレート」の形態をなす)は、多くの場合にその表面上で見えるようにした特徴的なパターン(アートワーク)を有する平坦な構造として提供される。この特徴的なパターンは、一般に慎重かつ精密に設計されているため、ユーザーはカメラで取得したターゲットの画像中に各々の可視の特徴を容易に識別できる。いくつかの例示的なパターンは、正方形のモザイク状のチェッカーボードや、全体パターンの中に周期的な間隔で追加のコードを埋め込んだチェッカーボードを含み、これらは特徴の位置、ドットグリッド、ライングリッド、ハニカムパターン、モザイク状の三角形、その他の多角形などを規定する。各々の可視の特徴の特性は、設計内部で暗黙的に定義された基準位置及び/又は座標系に対して相対的な位置及び/又は回転など、ターゲットの設計から知られている。
交線のモザイク状配列を特徴とする典型的なチェッカーボードパターンの設計は、校正を実行する際に精度と堅牢性に関してある利点を提供する。より具体的には、静止しているオブジェクトの2次元(2D)校正において、ビジョンシステムの精度を決定するために、通常は校正チェッカーボードのエッジによって個々のチェッカーボードタイルの隅の相対位置を決定すれば十分であり、必要に応じてカメラのプロセッサに補正係数を提供し、このような補正係数を考慮して実行時オブジェクトが測定される。
さらに背景として、ビジョンシステムカメラの校正は、カメラセンサのピクセルを所定の座標系にマッピングすることを含む。ターゲットは、座標系(例えば一連のチェッカーボードのX-Y軸構成)を定義する特徴、例えば特徴パターンに埋め込まれた2Dコード(「バーコード」とも呼ぶ)、又は別様にパターン座標系を定義する特徴的な基準を提供できる。特徴をカメラのピクセルにマッピングすることにより、システムはターゲットに合わせて校正される。複数のカメラを使用して校正ターゲットの全部又は一部の画像を取得する場合、すべてのカメラは、ターゲットの特徴(例えばターゲットの面に沿ったx及びy、z(高さ)及びx-y面におけるz軸を中心とした回転Θ)によって指定できる共通の座標系、又は別の(例えばグローバル)座標系にマッピングされる。一般に、校正ターゲットは多数の種類の校正操作で使用することができる。例として、典型的な内的及び外的カメラ校正操作は、1台以上のカメラによってターゲットの画像を取得し、取得したターゲットの画像を用いて校正ターゲット自体の座標系に相対的に校正することを伴い、ターゲットはすべてのカメラの全体視野の少なくとも一部で特定の位置にある。ビジョンプロセッサ内の校正アプリケーションは、当該カメラが取得したターゲットの画像から1台以上のカメラの相対位置を推定する。ターゲット上の基準を使用して、カメラをそれぞれの視野内のターゲットに対して向けることができる。この校正は、「カメラをプレートに合わせて校正する」と言われている。
一般に、シーンに3D(ステレオビジョンなど)ビジョンシステム撮像を適用するための事前のセットアップ手順は、正確で、しばしば時間のかかる事前校正プロセスを使用する必要があり、3D校正ターゲットの特徴が3次元すべてで正確に測定されなければならない。このプロセスは専門家が実施する必要があり、コストがかかる可能性がある。さらに、ビジョンシステムの精度と適当な機能を確保するために、事前に校正されたパラメータは、基礎となる3D校正装置の全寿命にわたって変化してはならない。つまり、装置は適当に保守され、事前校正の安定性を確保するために全動作寿命にわたって摂動があってはならない。このレベルの手入れと保守も工場環境ではコストがかかる可能性がある。正確なビジョンシステムのセットアップと健全度の監視は、工場における高品質な生産の鍵である多くのセットアップ/監視方法が、3D校正装置を必要としているが、上記はそのような3D校正装置に関連するいくつかの主要な不都合を表している。精確な3D校正装置には、ミクロンレベルの製造精度が必要であり、これは非常に高価であることに留意されたい。
さらに、工場では現在作業面の向きの再現性を測定する実用的な技術が存在しない。同様にロボットのエンドエフェクタ面と組立面の平行性は、通常手動セットアップを必要とするが、これは主観的で多くの場合時間がかかる、潜在的に不正確な評価(例えば圧力紙に基づく)を伴う。
本発明は、先行技術の欠点を、作業スペース(製造など)の構成システムの初期セットアップ、及びそれに続くこの構成の健全度監視のための3Dターゲットの正確な事前校正の要件、並びに面倒な保守要件を不要にする多層(少なくとも2層)3D校正ターゲットを使用して3Dビジョンシステムを校正するためのシステム及び方法を提供することにより克服する。このシステム及び方法は、異なる空間的位置及び異なる時間に多層3D校正ターゲットの画像を取得し、2つの取得の間の3D校正ターゲットの向きの差を計算する。この技術を使用して、ビジョンベースの単一面の向き再現性の検査と監視を実行できる。この技術をアセンブリ作業面に適用することにより、システム及び方法はビジョンベースのアセンブリ作業面の向きの再現性の検査と監視を実行できる。移動ロボットエンドエフェクタと組み合わせてこの技術を使用して、ビジョンベースのロボットエンドエフェクタ(「視覚誘導型ロボット(VGR)」とも呼ばれる)の向きの再現性の検査と監視を行うことができる。同様に、平行性を達成するために2つの面の視覚誘導調整を実現できる。システム及び方法は、ロボットのエンドエフェクタ及び組立作業面の平行性(即ちロボットチューニング)を達成するために、精密なVGRセットアップを実行するように動作することができる。
3D作業空間に対してビジョンシステムを校正するためのシステム及び方法は、様々な実施形態において提供される。システム及び方法は、それぞれ複数の相互に異なる変位に複数の表面を有する多層3D校正ターゲットと、それぞれ表面上に個別の校正パターンを有する複数の表面を使用する。表面の1つは、その上に他の面積の小さい個別の表面が配置された「主表面」の形態であることができる。3D校正ターゲットを含む画像データが受信され、この画像データにビジョンシステムツールが適用される。ビジョンツールを使用して画像データを分析し、第1の空間的位置における変位と第2の空間的位置における変位の差を計算して結果を提供する。例示的に、システム及び方法は、3D校正ターゲットをロボットエンドエフェクタ上に置くことができ、これはビジョンシステムにモーションフィードバックを提供し、VGRシステムとして構成できる。例として、3D校正ターゲットは、ほぼ矩形である主表面を含むことができ、4隅と、4隅のそれぞれに隣接して配置された4つの矩形プレートを有する。やはり例として、矩形プレートの面は、主表面の側面に対して非直交角度で配置されている。それぞれ複数の表面の各々の個別の校正パターンは、1以上のIDコードが埋め込まれたチェッカーボードパターンを含むことができ、IDコードはそれぞれ校正パターン内の位置に関連する情報を含んでいる。ビジョンツールを使用して画像データを分析し、第1の空間的位置における変位と別の第2の空間的位置における変位の差を計算して結果を提供できる。システム及び方法は、結果に基づいて第1の面と第2の面との間の平行性を検証でき、及び/又は結果に基づいて所望の時間間隔にわたって作業空間におけるオブジェクト面の空間的向きの再現性を検証できる。例示的に、画像データを生成するカメラアセンブリの一部であるか、又はそれに取り付けた光学アセンブリが提供される。光学アセンブリは、テレセントリック又は非テレセントリックであることができる。提供される光学アセンブリが非テレセントリックである場合、システム及び方法は3D校正ターゲットを移動し、3D校正ターゲットを移動する前と後に閉ループ2Dアライメントプロセスを適用する。
以下の発明の説明は、添付の図面を参照している。
例示的な実施形態による、校正ターゲット及び関連する保存された校正ターゲット特徴の関係データを使用して校正プロセスを受けている全体的なビジョンシステム構成の図である。
図1のシステムで使用するための2レベル3D校正ターゲットの上面図である。
図1の2レベル3D校正ターゲットの側面図である。
例示的な実施形態による、図1の固定又は移動校正ターゲットを用いてオブジェクト面の再現性を検証するための手順を示すフロー図である。
例示的な実施形態による、図1の固定又は移動校正ターゲットを用いて平行性を決定するための手順を示すフロー図である。
I.システムの概要
図1は、例示的な実施形態による校正ターゲット120の少なくとも片側の画像を取得する1台以上(複数)のカメラ1~N(110、112)からなるビジョンシステム構成100を示す。カメラ110及び112は、シーン全体の中で校正ターゲット120の一部又は全部の画像を取得するように配置されている。ターゲット120は、カメラ110及び112の視野(FOV)内に示されている。ターゲット120は、多軸ロボットアーム124などのモーションデバイスの端部に配置された移動ロボットエンドエフェクタ122によって支持されている。エンドエフェクタの向きとグリップ構成は、大きく変わることができる。この例では、エンドエフェクタ122は、吸引カップ又はターゲットの表面と係合する他の取り外し可能な固定機構(図示せず)を使用して、ターゲット120を部分的に覆うように示されている。ロボットアーム124は、適当なコントローラ128(以下に説明する)によって制御される。その動きは、直交x、y及びz軸、並びに関連する回転θx、θy及びθzを画定する適当な座標空間130によって定義される。カメラ110及び112の数、並びに撮像されたシーンの座標空間(130)に対するそれらの向きは、代替構成において非常に可変である。様々な実施形態において、ロボットエンドエフェクタ122及びモーションデバイス124は、他の1以上のタイプの作業面とモーションデバイスで置き換えることができ、これにはコンベヤ及び/又は昇降具及び/又は締め具など他の機構によってサポートされた組立面が含まれるが、これに限らない。様々な実施形態において、3D校正ターゲット120を作業面に取り付けることは、その主表面180の頂面(図示されている)か底面(後述する)で行うことができる。「主表面」という用語は広く解釈すべきであり、例として当該主表面の上(又は下)に投影された、1以上の個別の、高さが異なる、面積の小さい表面を支持する表面構成を含むことに留意されたい。さらに別の実施形態には、個別の単一光学カメラは1台以上の他のタイプのカメラと置き換えることができ、これにはレーザ変位センサ、立体視カメラ、LIDARベースの(より一般的には距離測定)カメラ、飛行時間型カメラなどが含まれるが、これらに限らない。
カメラ110及び112は、画像データを1台以上の内部又は外部ビジョンシステムプロセッサ140に送信する画像センサSを含んでおり、ビジョンシステムプロセッサ140は機能モジュール、プロセス及び/又はプロセッサを使用して、適当な2D、2.5D及び/又は3Dビジョンシステムプロセスを実行する。非限定的な例として、モジュール/プロセスは、エッジファインダ及びコントラストツール、ブロブアナライザ、キャリパ、レンジファインダなど、画像内の特徴を見つけて分析する例示的なビジョンシステムツール142のセットを含むことができる。ビジョンシステムツール142は、校正を実行し、共通の座標空間(例えば図示された座標空間130)で表される、3Dターゲットと1台以上のカメラとの間の3D関係を確定する校正モジュール/プロセス144と相互作用する。シーンの図示された座標空間130は、関連する直交x、y、及びz軸(及び上述したの回転)に沿ったデカルト座標に関して定義できることに留意されたい。別の実施形態では、極座標など、他のタイプの座標系を使用して、3D画像空間を特徴付けることができる。ビジョンシステムのプロセス(プロセッサ)140はID/コード検出及び復号モジュール140も含むことができ、これは慣用的技術又はカスタム技術を使用してバーコード及び/又は他の様々なタイプや標準のIDを特定して復号化する。これらのIDコードは、以下で説明するように、特に校正ターゲット120に埋め込まれたものを含む。
プロセッサ140は、カスタム回路でインスタンス化することができ、又は示されているように汎用コンピューティングデバイス150のハードウェア及びソフトウェアとして提供できる。このコンピューティングデバイス150は、PC、ラップトップ、タブレット、スマートフォン、及び/又は他の任意の許容可能なデータ処理装置であることができる。コンピューティングデバイスは、例えばキーボード152、マウス154、及び/又はディスプレイ/タッチスクリーン156などのユーザインターフェースを含むことができる。コンピューティングデバイス150は、有線及び/又は無線リンクを使用する適当な通信ネットワーク(例えばWAN、LAN)上に常駐できる。このネットワークは、ロボット/エンドエフェクタコントローラ160を含む1台以上のデータ処理装置、及びそのための適当なビジオンシステムインターフェース148に接続することができる。コントローラ160は、校正及び実行時にビジョンシステムデータと情報を交換して、エンドエフェクタの位置に関連するモーションフィードバック162を(例えばステッパ、エンコーダなどからのロボットのモーションデータを使用して)ビジョンシステムに提供し、ビジョンシステムが3D空間でエンドエフェクタを視覚的に誘導できるようにする。
II.3D校正ターゲット
例示的な構成の校正ターゲット120は、本明細書で想定されている様々な実装の1つである。さらに図2及び図3を参照すると、ターゲット120は、関連するアートワーク/校正パターン(例えば明るい正方形と暗い正方形をモザイク状に配列したチェッカーボード)を有する平らな表面を含むことができる。図示の例では、校正ターゲット120は、さらに平らな主表面180上に隆起したプレート170、172、174及び176を含んでいる。これらの隆起したプレート170、172、174及び176も校正パターンを含んでいる。この例ではプレート170~176の頂面の校正パターンと、主表面180上の校正パターンは、エンドエフェクタ122によって隠されていないため、カメラによって明確に撮像され得ることに留意されたい。プレート170~176は、正方形、矩形、多角形、又は他の任意の適当な形状である周囲を画定することができる。同様に、プレートは主表面180の縁部に対して任意の適当な角度APで、例えばそれに対して平行又は非平行に向けることができる。この例では、適用される校正パターンは、等しいサイズの正方形の正確な黒と白のチェッカーボードである。別の実施形態で、他の所定のパターンを設けることができる。主表面180と隆起したプレート170~176上のパターンは、IDコード、例えば校正パターン要素の相対的な位置及び配置に関する情報を含む従来の2Dバーコード182によって直交方向のそれぞれにおいて所与の間隔で中断される。このIDコードの配置により、ビジョンシステムプロセッサ140はIDリーダー/デコーダ146を介してカメラのFOV内の隣接する校正特徴の位置を決定することができる。校正ターゲット120は複数の(場合により重複する)FOVを占める場合は、IDコードの使用によって隣接FOV内の特徴を調整することを可能にし、それにより複数のカメラが同時に動作するのを支援する。
校正パターンをターゲット表面180に適用する方法は非常に可変であり、例えばスクリーン印刷又はフォトリソグラフィーを使用することができる。一般に、特徴の境界を画定する線とそれらの交点は、シーン全体のサイズに応じて許容可能なレベルの解像度を生み出すのに十分鮮明であり、ミクロン、ミリメートルなどで測定できる。図3に示すように、隆起したプレート170-176は、プレート主表面180とプレート頂面310との間の高さHを画定し、これはすべてのプレート170~176について同様のこともあれば、プレートごとに異なることもある。したがって各プレート又はプレート群は、個別の異なる高さを画定できる。したがって例示的な実施形態においてプレート高さHの各々は等しくないため、主表面180に対して相対的な異なる位置(例えば4隅のそれぞれ)で異なる変位を画定する。例示的な実施形態において高さHは非常に可変で、例えば1~50ミリメートルである。一般に、この各々の隆起したプレート170~176についての高さ情報は事前に比較的正確に知られており、印刷されたバーコード182にコード化することができる。様々な実施形態において、表面310の一部又は全部は主表面180に対して平行又は非平行であり得る。撮像されると、各パターン(プレート主表面180と小さい隆起したプレート表面310)の校正特徴は、カメラに対して個別の(例えばz軸の)高さ間隔で配置されている。
ターゲット120は、様々な方法で一緒に組み立てることができる。非限定的な例において、面積の小さいプレート170~176は、適当な接着剤(シアノアクリレート、エポキシなど)を使用して、隣接するプレート主表面180に当該表面180上の隣接する4隅のそれぞれに隣接して(主プレートのx-y軸に対して)図示の角度の向きで接着されている。この例では、表面180と表面310との間の平行性は精密に制御する必要はなく、大きいプレート上の小さいプレートのx-y配置もそうである。本明細書(以下)に説明する手順で得られた校正情報は、プロセッサ140に関してデータセット190に保存できる。
それぞれ隆起したプレートと関連する2つのパターン化された面を有する校正ターゲットを使用するためのシステム及び方法が、2018年4月17日に出願された同一出願人による「高精度な校正システム及び方法」と題する米国特許出願第15/955,510号に記載されており、その教示内容は有益な背景情報として参照することにより本明細書に組み込まれる。この出願は、3Dビジョンシステムを校正し、パターン内に埋め込まれたIDコードを使用して隣接するFOV内で特徴を方向付けるための技術について説明する。このアプローチは事前校正の使用を含んでいるが、これは以下に説明する手順では必要とされず、それにより校正プロセスが簡素化され、3D校正ターゲットに関連するデータ固有の事前校正データを保存する必要が回避される。
III.ビジョンベースの単一面の向き再現性の検査と監視
図4の手順400を参照する。この手順400は、オブジェクト面(例えば組立作業面又はロボットエンドエフェクタ面)と、当該面を撮像するカメラを含むセットアップの下で操作される。エンドエフェクタの場合、カメラは面自体を撮像するのではなく、エンドエフェクタによって持ち上げられた、又はそうでなければエンドエフェクタに(例えば永久的、半永久的/着脱可能に)取り付けられた3Dデバイス(即ち校正ターゲット120)を撮像できる。カメラに標準2D校正手順を使用できることに留意されたい。この手順400では、ターゲット120(図1及び図2)は、パターン(有効層とも呼ばれる)がカメラのFOV内にあるようにオブジェクト面上に配置される(ステップ410)。次に、ステップ412において、ターゲットとその有効層の1以上の画像が取得される。ステップ414において、ビジョンシステムツール(図1の142)が画像に適用されて、ターゲット内の個別の層上の2Dパターン間の第1の空間的関係を確定する。次にステップ420~424で第2の空間関係が確定される。ステップ420において、3Dデバイスは所定の時間間隔の後に再びカメラに提示され、その間にオブジェクト面は(例えばロボットアーム又は組立面の支持ツールによって)によって移動され、カメラのFOV内の位置に戻ってきた可能性があり、3Dデバイスが取り外されてからオブジェクト面上に戻された可能性がある。ステップ422で3Dデバイスの1以上の画像が取得され、ステップ424でビジョンシステムツール(図1の142)が画像に適用されて、個別の層上の2D校正パターン間の第2の空間的関係を確定する。
次に、手順400のステップ430において、変位(第1の関係と第2の関係との間の差)を、各関係における層間の既知の高さの差と併せて使用して、第1の関係と第2の位置/配置の間の面の向きの変化を計算する。これにより生成される結果は校正データの一部として保存でき(決定ステップ440を経たステップ450)、長期的な校正と配置の再現性を検証するために使用できる。結果及び/又は再現性をさらに検証するために、決定ステップ440はステップ420、422及び424に分岐し、保存されている第1の関係を別のプレートセット間の新しい第2の関係と共に使用して結果を再計算する(ステップ430)。このステップ420~430の反復は、オブジェクト面の向きの再現性を検証するために分、日、週などの間隔で行うことができる。
上記の手順400は、テレセントリック構成であるそれぞれの、取り付けられ又は内蔵されたカメラ光学アセンブリ(図1のO1、ON)と共に使用されることが想定されている。光学アセンブリO1、ONが非テレセントリックである場合は、どの追加の手順を適用するかが特別に考慮される。可動オブジェクト面(例えばロボットのエンドエフェクタ)の場合には、第1又は第2の空間的関係を確定するためにターゲットを配置するごとに、その後でエンドエフェクタは面内で移動して最初の配置の位置まで戻るように指示される。これは、標準2D閉ループアライメントを提供するビジョンシステムツールによって実現できる。そのようなアライメントツールは、例えばマサチューセッツ州ネイティックのコグネックスコーポレーションから入手可能である。代替として、オブジェクト面(例えば締付け組立面)が可動でない場合は、ターゲットは機械的保持技術を使用して制限された領域内に配置できる。
IV.平行性を達成するための2つの面の視覚誘導調整
図5の手順500を参照すると、この構成は、カメラが両方の面を撮像する2つの個別の面(例えばロボットエンドエフェクタ面と組立面又は作業面)を画定するセットアップを採用する(ステップ510)。手順500の目標は、これら2つの面の間に平行関係を達成することである。例示的な実装形態では、1つの面(例えばロボットエンドエフェクタ)の向きは調整可能である。標準的な2次元校正方法を使用して、最初にモーションシステムでカメラを校正することができる。手順500に従い、ステップ510において3Dターゲットは第1の面上に配置される。次に、ステップ522において、カメラによって3Dターゲットの1以上の画像が、第1の空間的位置にある2つの層の周りの関心のある領域を含んで取得される。ステップ530で、第2の空間的位置でカメラによってターゲットの1以上の画像が取得される。ターゲットの異なる層上の2Dパターン間の空間的関係が、適当なビジョンツールを用いて得られる。次にステップ540で、既知の変位(既知の高さ情報に基づく2つの関係の差)を層間の高さの差と併せて使用して、2つの面の向きの差を計算する。次にステップ550において、1つの面(例えばロボットエンドエフェクタ)の向きが、ステップ540で得た差に基づいて調整され、この計算された向きの差が取り除かれる。ロボットの場合は、適当なモーションコマンドをコントローラに送って差に対処することができる。
手順500のステップ530~550は、決定ステップ560を経てプロセスが完了するまで閉ループ様式で行うことができ、その時点で手順は終了する(ステップ570)。より具体的には、第1の調整(ステップ550)の後で決定ステップ560はステップ530に分岐して3D校正ターゲットの別の画像を取得し、ステップ550で得た新しい変位を使用して向きの差を再計算する(ステップ540)。この新しい差を用いて調整(ステップ550)が再び行われる。ステップ530~550のプロセスは、計算された向きの差が十分に小さくなるまで(決定ステップ560を経て)ループで繰り返される。そのような時点で、プロセスは決定ステップ560と終了ステップ570を経て完了したと見なされる。調整情報は、必要に応じて保存することができる。
この場合も、上記の手順500は、テレセントリックレンズを含むカメラ光学アセンブリO1、ONの使用を想定している。カメラが使用するレンズが非テレセントリックである場合、手順500も特別な考慮事項を採用している。これらの特別な手順の手順に従って、2つの面は同じ高さ(つまりカメラに対して同じ作動距離)にあるべきである。第2の面上に3D校正ターゲットを配置(及び各調整)した後(ステップ550)、ターゲットは、面内で第1の面で3Dデバイスが測定された位置に移動される(例えばロボットに指示することによって)。(ステップ522)。この結果は、標準の2D閉ループアライメントプロセスを使用して実現できる。
上記の各手順で結果を得るために使用される特定の計算は、当業者にとって明白であろう。一般に、このような計算は、デジタルコンピューティング環境に適用される3次元ジオメトリの既知の原理を採用している。
V.結論
上記のシステム及び方法は、エンドユーザの手に余るような、費用と時間のかかる事前校正手順の必要性を効果的に取り除くことは明らかであろう。このシステム及び方法は、正確で基礎となる製造構成の事前校正された状態に類似した性能を維持することにより、当該構成に関する長期的保守の懸念に効果的に対処する。より具体的には、このシステム及び方法は、作業空間内の面の長期的な再現性と平行性を保証する。このシステム及び方法は、特徴が同じ高さになく、カメラが迅速、簡単及び経済的な方法で不正確に取り付けられる場合の計測/測定を可能にする。
上記は、本発明の例示的な実施形態の詳細な説明である。本発明の精神及び範囲から逸脱することなく、様々な修正及び追加を行うことができる。上記の様々な実施形態のそれぞれの特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するために、必要に応じて他の記載された実施形態の特徴と組み合わせることができる。さらに、以上に本発明の装置及び方法のいくつかの個別の実施形態を説明したが、本明細書に記載されていることは、本発明の原理の適用の単なる例示である。例えば本明細書で使用されるように、「プロセス」及び/又は「プロセッサ」という用語は、様々な電子ハードウェア及び/又はソフトウェアベースの機能及びコンポーネント(あるいは、機能的「モジュール」又は「エレメント」)を含むように広く解釈されるべきである。さらに、図示されたプロセス又はプロセッサは、他のプロセス及び/又はプロセッサと組み合わせることができ、又は様々なサブプロセス又はプロセッサに分割することができる。そのようなサブプロセス及び/又はサブプロセッサは、本明細書の実施形態に従って様々に組み合わせることができる。同様に、本明細書の任意の機能、プロセス、及び/又はプロセッサは、電子ハードウェア、プログラム命令の非一時的なコンピュータ可読媒体からなるソフトウェア、又はハードウェアとソフトウェアの組み合わせを使用して実装できることが明確に想定されている。さらに、本明細書で使用される様々な方向や配置を表わす用語、例えば「垂直」、「水平」、「上」、「下」、「下」、「上」、「横」、「前」、「後」、「左」、「右」などは、相対的な表現としてのみ使用され、重力の作用方向などの固定座標空間に対する絶対方向/位置としては使用されていない。さらに、与えられた測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む(例えば1~5パーセント)。したがってこの説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。
以下に特許請求の範囲を記載する。

Claims (20)

  1. 3D作業空間に関してビジョンシステムを校正するためのシステムであって、
    画像データを受信して画像データにビジョンシステムツールを適用するビジョンシステムプロセッサと、
    それぞれ複数の相互に異なる変位に複数の表面を有する多層3D校正ターゲットであって、前記複数の表面はそれぞれ表面上に別個の校正パターンを有する、前記多層3D校正ターゲットと、
    前記ビジョンツールを使用して前記画像データを分析し、第1の空間的位置における変位と第2の空間的位置における変位の差を計算して結果を提供する決定プロセスと、
    を含む前記システム。
  2. 前記3D校正ターゲットはロボットエンドエフェクタ上に配置されている、請求項1に記載のシステム。
  3. 視覚誘導型ロボット(VGR)制御信号が前記ビジョンシステムプロセッサとロボットエンドエフェクタ用のコントローラとの間で送信される、請求項2に記載のシステム。
  4. 前記校正ターゲットの複数の表面は、主表面と、そこから突出する複数の隆起した表面を含む、請求項1に記載のシステム。
  5. 前記複数の隆起した表面の側面は、前記主表面の側面に対して非直交角度に配置された複数の矩形プレートを含む、請求項4に記載のシステム。
  6. 前記複数の表面は、それぞれチェッカーボードパターンを画定する校正パターンを有し、前記チェッカーボードパターンは、校正パターン内の位置に関連する情報を含む1以上のIDコードが埋め込まれている、請求項1に記載のシステム。
  7. 決定プロセスはビジョンツールを使用して画像データを分析し、第1の空間的位置における変位と別の第2の空間的位置における変位との間の差を計算して結果を提供する、請求項1に記載のシステム。
  8. 前記結果を使用して、第1の面と前記第2の面との間の平行性を決定する、請求項7に記載のシステム。
  9. 前記結果を使用して、所望の時間間隔にわたって作業空間におけるオブジェクト面の空間的向きの再現性を決定する、請求項7に記載のシステム。
  10. さらに、ビジョンシステムプロセッサに作動的に接続されたカメラアセンブリを含み、前記カメラアセンブリは非テレセントリックである光学アセンブリを有しており、3D校正ターゲットを移動し、3D校正ターゲットを移動する前と後に閉ループ2Dアライメントプロセスが適用される、請求項1に記載のシステム。
  11. ビジョンシステムを3D作業空間に対して校正する方法であって、
    それぞれ複数の相互に異なる変位に複数の表面を有する多層3D校正ターゲットであって、前記複数の表面はそれぞれ表面上に別個の校正パターンを有する、前記多層3D校正ターゲットを提供するステップと、
    前記3D校正ターゲットを含む画像データを受信して前記画像データに前記ビジョンシステムツールを適用するステップと、
    前記ビジョンツールを使用して画像データを分析し、第1の空間的位置における変位と第2の空間的位置における変位の差を計算して結果を提供するステップと、
    を含む前記方法。
  12. さらに、前記3D校正ターゲットをロボットエンドエフェクタ上に配置することを含む、請求項11に記載の方法。
  13. さらに、前記ビジョンシステムプロセッサとロボットエンドエフェクタ用のコントローラとの間で視覚誘導型ロボット(VGR)制御信号が送信される、請求項12に記載の方法。
  14. 前記校正ターゲットの複数の表面は、主表面と、そこから突出する複数の隆起した表面を含む、請求項11に記載の方法。
  15. 複数の隆起した表面の側面が、前記主表面の側面に対して非直交角度に配置された複数の矩形プレートを画定する、請求項14に記載の方法。
  16. 前記複数の表面は、それぞれチェッカーボードパターンを画定する校正パターンを有し、前記チェッカーボードパターンは、前記校正パターン内の位置に関連する情報を含む1以上のIDコードが埋め込まれている、請求項11に記載の方法。
  17. さらに、前記ビジョンツールを使用して画像データを分析し、前記第1の空間的位置における変位と別の前記第2の空間的位置における変位との間の差を計算して結果を提供することを含む、請求項11に記載の方法。
  18. さらに、前記結果に基づいて、第1の面と前記第2の面との間の平行性を検証することを含む、請求項17に記載の方法。
  19. さらに、前記結果に基づいて所望の時間間隔にわたって作業空間におけるオブジェクト面の空間的向きの再現性を検証することを含む、請求項17に記載の方法。
  20. さらに、画像データを生成するカメラアセンブリのために非テレセントリックである光学アセンブリを提供し、3D校正ターゲットを移動し、3D校正ターゲットを移動する前と後に閉ループ2Dアライメントプロセスを適用することを含む、請求項11に記載の方法。
JP2022193795A 2020-03-18 2022-12-02 ビジョンシステムの3次元校正のためのシステム及び方法 Pending JP2023014351A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062991430P 2020-03-18 2020-03-18
US62/991,430 2020-03-18
US17/198,333 US20210291376A1 (en) 2020-03-18 2021-03-11 System and method for three-dimensional calibration of a vision system
US17/198,333 2021-03-11
JP2021041907A JP7189988B2 (ja) 2020-03-18 2021-03-15 ビジョンシステムの3次元校正のためのシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021041907A Division JP7189988B2 (ja) 2020-03-18 2021-03-15 ビジョンシステムの3次元校正のためのシステム及び方法

Publications (1)

Publication Number Publication Date
JP2023014351A true JP2023014351A (ja) 2023-01-26

Family

ID=77747326

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021041907A Active JP7189988B2 (ja) 2020-03-18 2021-03-15 ビジョンシステムの3次元校正のためのシステム及び方法
JP2022193795A Pending JP2023014351A (ja) 2020-03-18 2022-12-02 ビジョンシステムの3次元校正のためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021041907A Active JP7189988B2 (ja) 2020-03-18 2021-03-15 ビジョンシステムの3次元校正のためのシステム及び方法

Country Status (4)

Country Link
US (1) US20210291376A1 (ja)
JP (2) JP7189988B2 (ja)
KR (1) KR102525704B1 (ja)
CN (1) CN113496523A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11958198B2 (en) 2020-08-04 2024-04-16 Artificial, Inc. Predictive instruction text with virtual lab representation highlighting
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
DE102022201012A1 (de) * 2022-02-01 2023-08-03 Robert Bosch Gesellschaft mit beschränkter Haftung Kalibriersystem zum Kalibrieren eines Kamerasystems und zugehöriges Kalibriersystem
US11988496B1 (en) * 2022-03-22 2024-05-21 Advanced Gauging Technologies, LLC Strip width measurement with continuous hardware imperfection corrections of sensed edge positions
KR102592603B1 (ko) 2023-02-22 2023-10-23 주식회사 시스템알앤디 비전 검사 장비의 모니터링 방법
CN116673998B (zh) * 2023-07-25 2023-10-20 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system
US20100295935A1 (en) * 2009-05-06 2010-11-25 Case Steven K On-head component alignment using multiple area array image detectors
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US20140100694A1 (en) * 2012-10-05 2014-04-10 Beckman Coulter, Inc. System and method for camera-based auto-alignment
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US11159784B2 (en) * 2014-10-23 2021-10-26 Cognex Corporation System and method for calibrating a vision system with respect to a touch probe
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN110506297B (zh) * 2017-04-17 2023-08-11 康耐视公司 高精确度校准系统和方法
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
JP2019195885A (ja) * 2018-05-11 2019-11-14 セイコーエプソン株式会社 制御装置およびロボットシステム
US11745354B2 (en) * 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10565737B1 (en) * 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system

Also Published As

Publication number Publication date
CN113496523A (zh) 2021-10-12
JP2021146499A (ja) 2021-09-27
KR20210117959A (ko) 2021-09-29
JP7189988B2 (ja) 2022-12-14
KR102525704B1 (ko) 2023-04-24
US20210291376A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP7189988B2 (ja) ビジョンシステムの3次元校正のためのシステム及び方法
JP7292829B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
KR102129103B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP4976402B2 (ja) 実用的な3dビジョンシステムの方法および装置
EP2153410B1 (en) 3d assembly verification from 2d images
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
US10380764B2 (en) System and method for performing vision system planar hand-eye calibration from straight line features
US20130194569A1 (en) Substrate inspection method
EP3577629B1 (en) Calibration article for a 3d vision robotic system
WO1999015854A1 (en) Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
US11230011B2 (en) Robot system calibration
US20200262080A1 (en) Comprehensive model-based method for gantry robot calibration via a dual camera vision system
KR20170087996A (ko) 로봇의 캘리브레이션 장치 및 그 방법
US20220357153A1 (en) Calibration method for computer vision system and three-dimensional reference object for use in same
CN111591474B (zh) 一种航天器在轨操作系统对准式手眼标定方法
TWI708667B (zh) 運動裝置之位置與姿態校正裝置及系統與方法
JP2007085912A (ja) 位置測定方法及び位置測定装置並びに位置測定システム
US20120056999A1 (en) Image measuring device and image measuring method
KR101792499B1 (ko) 반도체 제조 장치의 티칭 방법
TWI504859B (zh) 拍攝並拼接物件影像的方法
KR101626374B1 (ko) 모서리 기반 코너 추정을 이용한 정밀 위치 보정 방법
JPH0545117A (ja) 光学式3次元位置計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240313