JP2023011704A - 高精密な校正システム及び方法 - Google Patents

Abstract

【課題】マシンビジョンシステムの高精密な校正システム及び方法を提供する。【解決手段】校正ビジョンシステム１００において、プロセッサは、少なくとも１つの表面上に校正パターンを付けた校正ターゲット１２０に対して、パターン上の校正特徴の位置の関係を決定し、校正手順で使用するために保存する。校正ターゲットの特徴関係を知ることにより、校正ビジョンシステムが校正ターゲットを単一のポーズで撮像して、各々の校正特徴を所定の座標空間で再発見できるようになる。次に、保存されたデータからの特徴間の関係を校正ビジョンシステムのローカル座標空間に変換する。これらの位置は、バーコードに符号化されてターゲットに適用されるか、別個の符号化された要素で設けられているか又は電子データソースから取得できる。ターゲットは、ターゲットの全体ジオメトリに対して隣接する校正特徴の位置を定義するパターン内の符号化された情報を含む。【選択図】図１

Description

本発明は、マシンビジョンシステム用途で使用される校正システム及び方法、ならびに校正オブジェクト（ターゲット）に関する。

マシンビジョンシステム（本明細書では「ビジョンシステム」とも呼ばれる）では、１以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、シンボルのデコード、整列、及びその他の自動化された様々なタスクを含むことができる。より具体的には、ビジョンシステムを使用して、撮像されたシーン中に存在する工作物を検査することができる。シーンは通常１以上のビジョンシステムカメラによって撮像され、これらのビジョンシステムカメラは関連するビジョンシステムプロセスを操作して結果をもたらす内部又は外部ビジョンシステムプロセッサを含むことができる。一般に、１以上のカメラが十分な精度と信頼性をもってビジョンタスクを実行できるようにするためにカメラを校正することが望ましい。カメラを適当な座標空間と物理単位に関して校正するために、校正オブジェクト若しくは校正ターゲットを採用できる。例として、工作物の画像は２次元（２Ｄ）画像ピクセルデータ（例えばｘ座標とｙ座標）、３次元（３Ｄ）画像データ（ｘ座標、ｙ座標及びｚ座標）又はハイブリッド２．５Ｄ画像データによって特徴付けることができ、２．５Ｄ画像データは複数のｘ－ｙ座標平面が本質的に平行であり可変なｚ高さによって特徴付けられる。

校正オブジェクト若しくは校正ターゲット（しばしば「プレート」の形態をなす）は、多くの場合に、表面に見えるようにした特徴的なパターン（アートワーク）を有する平坦な構造として設けられている。この特徴的なパターンは、一般に注意して精密に設計されているので、ユーザはカメラで取得したターゲットの画像中に見える各特徴を容易に識別できる。幾つかの例示的なパターンには、四角形のモザイク状のチェッカーボードや、全体パターンの中に周期的な間隔で追加的な象眼細工のコードを有するチェッカーボードが含まれ（これに限るものではない）、これらは特徴位置、ドットグリッド、ライングリッド、ハニカムパターン、モザイク状の三角形、その他の多角形などを指定する。各々の見える特徴の特性は、設計内部で暗黙的に定義され基準位置及び／又は座標系に対して相対的な位置及び／又は回転など、ターゲットの設計から知られている。

交線のモザイク状配列を特徴とする典型的なチェッカーボードパターンの設計は、校正を実行する際に精度と堅牢性に関してある利点を提供する。より具体的には、静止しているオブジェクトの２次元（２Ｄ）校正でビジョンシステムの精度を決定するのに、通常は校正チェッカーボードのエッジによって個々のチェッカーボードタイルのコーナーの相対位置を決定すれば十分であり、必要に応じてカメラのプロセッサに補正係数を与え、このような補正係数を考慮して実行時オブジェクトが測定される。

更に背景として、ビジョンシステムカメラの校正は、カメラのピクセルを所定の座標系にマッピングすることを含む。ターゲットは、座標系（例えば一連のチェッカーボードのＸ－Ｙ軸構成）を定義する特徴、例えば特徴パターンに埋め込まれた２Ｄコード（「バーコード」とも呼ばれる）、さもなければパターン座標系を定義する特徴的な基準を提供できる。特徴をカメラのピクセルにマッピングすることにより、システムはターゲットに合わせて校正される。複数のカメラを使用して校正ターゲットの全部又は一部の画像を取得する場合、すべてのカメラは、ターゲットの特徴（例えばターゲットの平面に沿ったＸ及びＹ、Ｚ（高さ）及びＸ－Ｙ平面におけるＺ軸を中心とした回転Θ）によって指定できる共通の座標系、又は別の（例えばグローバル）座標系にマッピングされる。一般に、校正ターゲットは多数の種類の校正操作で使用することができる。例として、典型的な内的及び外的カメラ校正操作は、各々のカメラによってターゲットの画像を取得することと、取得した画像を用いて校正ターゲット自体の座標系に対して校正することを伴い、このターゲットはすべてのカメラの全体視野の少なくとも一部における特定の位置である。ビジョンプロセッサ内の校正アプリケーションは、各カメラが取得したターゲットの画像から各カメラの相対位置を推定する。ターゲット上の基準を使用して各カメラをそれぞれの視野内のターゲットの部分に対して向けることができる。この校正は「カメラをプレートに校正する」と言われる。

ユーザは、典型的な平面校正ターゲットを使用して２Ｄ、２．５Ｄ又は３Ｄビジョンシステムを校正しようとする際に何らかの不便に遭遇することがある。このような不便さは２つの原因から生じ得る。第１に、３Ｄ情報を用いる精密な校正ターゲットは、校正ターゲットをミクロンレベルで製造することを要求するが、これは時間がかかるだけでなくコストもかかる。第２に、立体ビジョンシステム若しくはステレオビジョンシステムの校正は、校正ターゲットがすべてのカメラに見える多数のポーズで撮像されることを要求する。このプロセスはユーザにとって長時間かかりエラーが発生しやすい。ステレオビジョンシステムが複雑である（例えば複数のカメラを使用する）場合に特にそうである。例えば４台のカメラで構成される市販のビジョンシステムは、十分な校正を達成するのにターゲットの２０以上のビューを必要とする。

本発明は先行技術の欠点を、少なくとも１つ（１つ以上の）表面で校正パターンを定義することによって克服する。校正ターゲットに対して校正パターン上の校正特徴の位置（例えばチェッカーボードの交点）の関係が決定されて（例えばターゲットの製造時）、校正ビジョンによる校正手順で使用するのために保存される。校正ターゲットの特徴関係を知ることにより、校正ビジョンシステムが校正ターゲットを単一のポーズで撮像して、各々の校正特徴を所定の座標空間で再発見できるようになる。次に校正ビジョンシステムは保存されたデータからの特徴間の関係を校正ビジョンシステムのローカル座標空間に変換できる。これらの位置は、バーコードに符号化されてターゲットに適用されるか（校正中に撮像／復号化される）、別個の符号化された要素（例えばターゲットと共に出荷されるカード）で設けられているか、又は電子データソース（例えば特定のターゲットに関連付けられたディスク、サムドライブ又はウェブサイト）から取得できる。ターゲットは、ターゲットの全体ジオメトリに対して隣接する校正特徴の特定の位置を定義するパターン内の符号化された情報を含むことができる。１実施形態において、ターゲットは距離で隔てられた少なくとも２つの表面からなり、第１の表面に第１の校正パターンを付けた大きいプレートと、第１の校正パターンから間隔（例えばＺ軸高さによって定義される）をおいて配置された第２の校正パターンを有し、大きいプレートの第１の表面にあてがわれる小さいプレートとを含んでいる。ターゲットは両面を持つことができ、第１の表面と、対応するパターンを付けた小さい方の第２の表面が反対側にそれぞれ表示されることにより、関連するマルチカメラ、即ちビジョンシステムによるターゲットの３６０度観察と同時校正が可能になる。他の実施形態では、ターゲットは、立方体などの３Ｄ形状であることができ、１つ以上の表面がパターンを含み、各表面上の特徴間の関係が決定されて、校正ビジョンシステムによる使用のために保存される。

例示的な実施形態では、校正ターゲットが設けられて、第１の校正パターンを付けた第１の表面を含む。データソースは、第１の校正パターン上の校正特徴の相対位置を定義する。データソースは校正ビジョンシステムによって識別可能であり、校正ビジョンシステムは校正ターゲットの画像を取得して相対位置をビジョンシステムのローカル座標空間に変換する。第２の校正パターンを付けた第２の表面も設けることができ、第２の表面は第１の表面から離れて配置されている。これによりデータソースは、第２の校正パターン上の校正特徴の相対位置も定義する。

例示的に、第２の表面は第１の表面に付着したプレート上に設けられているか、又は第１の表面に対して非平行方向に向けられた３次元対象の別個の面に設けられている。例示的な実施形態では、第１の校正パターンと第２の校正パターンはチェッカーボードである。データソースは、（ａ）校正ターゲット上のコード、（ｂ）別個の印刷されたコード、及び（ｃ）校正ビジョンシステムのプロセッサによってアクセス可能な電子データソースのうちの少なくとも１つを含む。相対位置は、校正ターゲットの製造中又は製造後に精密なビジョンシステムによって定義でき、校正ビジョンシステムによる使用のために利用できるようになる。精密なビジョンシステムは、（ａ）立体視システム、（ｂ）３以上のカメラからなるビジョンシステムとレーザ変位センサ、及び（ｃ）飛行時間型カメラアセンブリのうち少なくとも１つを、他のタイプの３Ｄ撮像装置のほかに含む。例示的に、校正ターゲットは、第１の表面と反対側に第３の校正パターンを付けた第３の表面と、第４の校正パターンを付けた第４の表面を含むことができ、第４の表面は第３の表面の上に間隔をおいて配置できる。それによって電子データソースは、第１の校正パターン、第２の校正パターン、第３の校正パターン及び第４の校正パターン上の校正特徴の相対位置を定義することができる。例示的に、精密なビジョンシステムと校正ビジョンシステムは、校正ターゲットのそれぞれ反対側で校正ターゲットを撮像するように配置されている。実施形態では、校正ビジョンシステムは、２Ｄビジョンシステム、２．５Ｄビジョンシステム及び３Ｄビジョンシステムのうちの１つである。例示的に、第１の校正パターンと第２の校正パターンのうちの少なくとも１つは、表面エリア全体に対して隣接する校正特徴の相対位置を定義するコードを含む。

ビジョンシステムを校正するための例示的方法において、第１の校正パターンを付けた第１の表面を有する校正ターゲットが設けられている。第１の校正パターン上の校正特徴の相対位置を定義するデータソースがアクセスされる。精密なビジョンシステムが校正ターゲットの少なくとも１つの画像を取得することによってデータソースが生成される。校正ターゲットは、ユーザによる校正操作中に校正ビジョンシステムによって連続的に取得される。精密なビジョンシステムによる相対位置が、校正ビジョンシステムローカル座標空間に変換される。例示的に、第２の校正パターンを付けた第２の表面が設けられている。この第２の表面は第１の表面から離れて配置されており、データソースは第２の校正パターン上の校正特徴の相対位置を定義する。

校正ターゲットを製造するための例示的な方法では、所定の第１の校正パターンを付けた少なくとも第１の表面が設けられている。第１の表面の画像が取得され、その上に校正パターン特徴が配置される。配置された校正特徴を使用して、第１の校正パターン上の校正特徴の相対位置を定義するデータソースが生成される。このデータソースは、校正ターゲットの画像を取得するビジョンシステムによって識別可能で、相対位置をビジョンシステムのローカル座標空間に変換する。例示的に第２の表面が、第１の表面に対して配置された第２の校正パターンを付けて設けられている。この第２の表面は第１の表面から離れて配置され、データソースは第２の校正パターン上の校正特徴の相対位置を定義する。第２の表面は第１の表面に付着したプレート上に設けることができ、又は第２の表面は第１の表面に対して非平行方向に向けられた３次元対象物の別個の面上に設けることができる。例示的に、第１の校正パターンと第２の校正パターンはチェッカーボードであってよい。例示的な実施形態では、第３の表面が第１の表面の反対側に第３の校正パターンを付けて設けられている。第４の校正パターンを付けた第４の表面が、第３の表面にあてがわれる。第４の表面は第３の表面上に間隔をおいて配置され、それによってデータソースは、、第１の校正パターン、第２の校正パターン、第３の校正パターン及び第４の校正パターン上の校正特徴の相対位置を定義する。データソースは、（ａ）校正ターゲット上のコード、（ｂ）別個の印刷されたコード、及び（ｃ）校正ビジョンシステムのプロセッサによってアクセス可能な電子データソースのうちの少なくとも１つで設けることができる。

以下の本発明の説明は添付の図面を参照する。

例示的な実施形態による、校正ターゲット及び関連する保存された校正ターゲット特徴関係データを用いて校正プロセスが行われる全体的なビジョンシステム構成の図である。

図１の例示的な実施形態による、両面の多重表面校正ターゲットの側面図である。

例示的な実施形態による、高精密なビジョンシステムを使用して、製造された校正ターゲットを分析し、そこから保存された校正ターゲット特徴関係データを生成する手順のフローチャートである。

図３の手順に従って非常に精密な校正ターゲット特徴関係データを生成するための３台のカメラからなる３Ｄビジョンシステムの例示的な実施形態である。

例示的な実施形態による、校正ターゲット及び図３の手順で生成された関連する保存された特徴関係データを用いてビジョンシステムを校正するための手順のフローチャートである。

例示的な実施形態による、図５の手順で校正ターゲットに適用されるコードを読み取り、そこから保存された特徴関係データを復号化するための手順のより詳細なフローチャートである。

代替的な実施形態による、それぞれ校正パターンを付けた少なくとも３層に重ねた表面を有する校正ターゲットの部分斜視図である。

別の代替実施形態による、少なくとも２つの別個の表面に付けられた校正パターンを有する３Ｄ形状（例えば立方体）を画定する校正ターゲットの斜視図である。

Ｉ．システムの概要

図１は、例示的な実施形態による校正ターゲット１２０の少なくとも２つの側の各々にそれぞれ複数のカメラ０１－Ｎ（１１０、１１２）及び１－Ｍ（１１４、１１６）を有するビジョンシステム構成１００を示す。カメラ１１０～１１６は、シーン全体の中で校正ターゲット１２０の一部又は全部の画像を取得するように配置されている。ターゲット１２０は、パターンを見ることを可能にする任意の許容可能なメカニズム（例えばロッド又はブラケット１２２）によって支持することができる。カメラの数及び画像シーンに対するカメラの向きは、別の構成においては非常に可変である。この実施形態では、各側は少なくとも２台のカメラ、典型的には少なくとも４台のカメラからなる。他の実施形態では、必要に応じて、各側又は片側のみを単一のカメラ又は４以上のカメラで撮像することができる。カメラ１１０－１１６は公知の技術を用いて三角測量を可能にするように配置されていて、撮像された表面の３次元（３Ｄ）表現又を生成できるようになっている。代替の実施形態では、図示の単一光学カメラを１以上の他のタイプのカメラで置き換えることができ、これにはレーザ変位センサ、立体視カメラ、ＬＩＤＡＲベースの（より一般的には距離測定）カメラ、飛行時間カメラなどが含まれるが、これらに限らない。

カメラ１１０－１１６はそれぞれ、１以上の内部又は外部ビジョンシステムプロセッサ１３０に画像データを伝送するイメージセンサＳを含んでおり、プロセッサ１３０は機能的なモジュール、プロセス及び／又はプロセッサを使用して適当なビジョンシステムプロセスを実行する。非限定的な例として、モジュール／プロセスは、エッジファインダ及びコントラストツール、ブロブアナライザ、キャリパなど、画像内の特徴を見つけて分析するビジョンシステムツール１３２のセットを含むことができる。ビジョンシステムツール１３２は、少なくとも１つの共通（即ちグローバル）座標系１４０に対する１以上のカメラの校正を処理する校正モジュール／プロセス１３４と相互作用する。このシステムは、関連する直交ｘ、ｙ及びｚ軸に沿ったデカルト座標の観点で定義することができる。ｘ、ｙ及びｚ軸を中心とした回転は、それぞれθ_ｘ、θ_ｙ及びθ_ｚとして定義することもできる。別の実施形態では、極座標など他の座標系を使用することができる。ビジョンシステムプロセス（プロセッサ）１３０はＩＤ／コード発見及び復号化モジュール１３６も含むことができ、これは慣用的技術又はカスタム技術を使用してバーコード及び／又は様々なタイプや標準の他のＩＤを見つけて復号化する。

プロセッサ１３０は、カスタム回路でインスタンス化することができ、又は図示されているように汎用コンピューティングデバイス１５０のハードウェア及びソフトウェアとして設けることができる。このコンピューティングデバイス１５０は、ＰＣ、ラップトップ、タブレット、スマートフォン、又は他の許容可能な構成であることができる。コンピューティングデバイスは、例えば、キーボード１５２、マウス１５４、及び／又はディスプレイ／タッチスクリーン１５６などのユーザインターフェースを含むことができる。コンピューティングデバイス１５０は、有線及び／又は無線リンクを使用する適当な通信ネットワーク（例えばＷＡＮ、ＬＡＮ）上に常駐することができる。このネットワークは、品質管理、ロボット制御、アライメント、部品受入／拒否、ロジスティクス、表面検査など様々なタスクのためにプロセッサ１３０によって生成されたビジョンシステムデータを使用する１以上のデータハンドリングデバイス１６０に接続できる。

例示的な構成の校正ターゲット１２０は、本明細書で想定されている多様な実装の１つである。代替の実施形態では、ターゲットは、単一の露光された撮像面と、関連するアートワーク／校正パターン（例えば明るい正方形と暗い正方形をモザイク状に配列したチェッカーボード）を有するプレートからなる。しかしながら図示の例では、校正ターゲットは、それぞれに校正パターンを付けた複数の積み重ねられたプレート１７０及び１７２からなる。パターンを付ける方法は極めて可変であり、例えばスクリーン印刷又はフォトリソグラフィを採用できる。一般に、特徴の境界を画定する線とそれらの交点は、許容可能なレベルの解像度を生み出すのに十分鮮明であり、シーン全体のサイズに応じてミクロン、ミリメートルなどで測定できる。１実施形態では、更に図２に示されているように、校正ターゲット１２０は、３層に積み重ねられたプレート１７０、１７２及び２１０からなる。中央プレート１７０は最大の面積を有し、図示された幅ＷＰ１にわたって延びているが、中央プレート１７０を挟んでそれぞれ反対側の表面に積み重ねられた２つのプレート１７２、２１０は、面積が小さく幅ＷＰ２及びＷＰ３を有する。中央プレートを挟んでそれぞれ反対側の表面２２０及び２２２は、任意の許容可能な値（例えば１～５０ミリメートル）であってよい厚さＴＰ１だけ分離されている。上述したように各表面２２０及び２２２は、例示的な校正パターンを含むことができる。したがって各パターンの校正特徴は、ＴＰ１の高さ間隔（例えばｚ軸）で配置される。積み重ねられたプレート１７２及び２１０はそれぞれの厚さＴＰ２及びＴＰ３を画定しており、それぞれの表面／校正パターン２３０及び２４０はそれらの下に位置する表面２２０及び２２２から対応する間隔で配置されている。これらの間隔が、各表面校正パターンによって画定されるｘ－ｙ軸寸法に加えて、特徴に対するｚ軸寸法を生み出す。このようにして校正ターゲットは、ビジョンシステムの各側の３Ｄ校正のための特徴情報を効果的に提供できる。

プレート１７０、１７２及び２１０は、様々な方法で一緒に組み立てることができる。基本的な例では、適当な接着剤（シアノアクリレート、エポキシなど）を使用して、ほぼ中央の位置で中央プレートの隣接する表面２２０、２２２に面積の小さいプレート１７２、２１０を接着する。表面２３０、２２０、２２２、２４０間の平行度は慎重に制御されず、大きいプレート上に小さいプレートを配置する際のセンタリングもない。実際、非対称性と傾斜位置の導入は、以下で一般的に説明するように、校正ビジョンシステム（１００）の校正に益することがある。

特に、特徴間の３次元の関係がデータ１８０のセットに含まれており、これらは特定の校正ターゲット１２０に関連してプロセッサに保存できる。データは、様々な形式からなることができる、例えばデータ１８０は、校正ターゲット１２０内のすべての校正特徴（又はすべてのサブセット）又は特徴グループの位置からなることができる。データは様々なやり方で取得又はアクセスできる。図示されているように、２Ｄバーコード（例えばデータマトリックスＩＤコード）１８２を校正ターゲット１２０のある位置（例えばエッジ）に設けることができ、それがビジョンシステムの１以上のカメラによって取得され、プロセッサ１３０及びモジュール１３６によって復号化される。データ１８０の提供及びアクセスのための他のメカニズムには、出荷されるターゲット１２０と一緒に別個のラベル又はカードを供給してそれらのコードをスキャンすること、ターゲットに対するシリアル番号（又は他の識別子）に関連付けてウェブサイトからデータをダウンロードすること、ディスク、フラッシュメモリ（サムドライブ）又はその他の電子データ保存装置でデータを提供することなどが含まれる。

ＩＩ．校正ターゲット特徴関係データの生成

例示的な校正ターゲットに対する校正パターン特徴の関係を記述するデータは、図３の手順３００に従って生成される。一般に、関連するターゲット座標における関係（例えば２Ｄ座標又は３Ｄ座標）が知られていて校正ビジョンシステムに利用できると、ターゲットの製造公差を著しく低減できる。これらの関係は、高精密なビジョンシステムで特徴を分析することによって導き出すことができる。「高精密な」（又は単に「精密な」）とは、ビジョンシステムが供給する関係データは、任意の座標の校正ビジョンシステムの座標系への変換が、実行時に校正ビジョンシステムによって実行されるタスクに対する許容公差範囲内にあることを十分保証できることを意味する。したがって例として、ビジョンシステムがミクロンレベルの公差を要求する場合、高精密なビジョンシステムはサブミクロン範囲の関係データを返す。

手順３００のステップ３１０において、（本明細書に記載されているいずれかの物理的構成に従って）製造された校正ターゲットは、高精密なビジョンシステムの視野内に配置されている。１以上のステレオカメラアセンブリを備えた立体視システムは、実装の一形態である。しかしながら高精密なビジョンシステムは、（例えば）１つ以上のレーザ変位センサ（プロファイラ）、飛行時間カメラなどを使用して実装することができる。図４に示す実施形態では、非常に精密なターゲット４２０の片側を撮像するためのビジョンシステム４２０が示されている。ビジョンシステム構成４００は、それぞれ所定の相対角度に向けられた非平行光軸ＯＡ１、ＯＡ２及びＯＡ３に配置された３台のカメラ４３０、４３２及び４３４を含む。これら３台のカメラは、３視点からの特徴の三角測量を可能にし、それにより従来の立体視システムよりも精度を高める。即ち、各カメラは他の２台のカメラと三角測量でき、それらの結果が結合／平均される。各カメラ４３０、４３２及び４３４からの画像情報が取得され（図３のステップ３２０）、校正データ生成モジュールビジョンシステムプロセス（プロセッサ）４５０に伝送される。データは、ステレオビジョンモジュール／プロセス（プロセッサ）４５２により、ビジョンシステムツールと組み合わせて処理される。これらのビジョンシステムツールは、カメラの画像内の特徴を見つけて分解し（図３のステップ３３０）、三角測量によって３Ｄ座標空間４６０におけるそれらの相対位置を決定する（図３のステップ３４０）。即ち、各カメラは平面（ｘ－ｙ）画像を生成する。各カメラと他のカメラの相対角度を知ることにより、各ｘ－ｙ画像内の同じ特徴にｚ軸の高さを与えることが可能になる。データの３Ｄ座標は、校正データモジュール／プロセス（プロセッサ）に提供されて、校正データモジュール／プロセス（プロセッサ）はこれらの座標を特徴と関連付け、（任意選択で）特徴校正データの保存又は符号化されたセット４７０を生成する（図３のステップ３５０）。このセットは、ターゲット４２０内の関連する各特徴の座標及び／又は１以上の基準に対して相対的な特徴の配置（例えば線のコーナーや基準などに対する向き）を含むことができる。データセット４７０は１以上の符号化されたＩＤラベルに印刷されて、ターゲット４２０に添付され、又はターゲット４２０と一緒にユーザに出荷される（図３のステップ３６０）。代替として、ユーザのビジョンシステムにダウンロードするために利用可能にし、又は当業者には明白な他のメカニズムによってユーザに供給することができる。校正プレート及び使用方法が、２０１６年５月１日に出願されたリュウ・ガンによる「自動位置決め基準として符号化された２Ｄデータコードを採用するシステム、方法及び校正プレート」と題する共通に譲渡された米国特許番号において、有用な背景として示され説明されており、その教示は参照により本明細書に組み込まれることに留意されたい。

ＩＩＩ．ターゲットと特徴関係データを使用する校正プロセス

図５と図６は、本発明による校正ターゲット及び関連する特徴関係データを使用してビジョンシステム（「校正ビジョンシステム」と呼ばれる）を校正するための手順５００及び６００を集合的に説明する。図５のステップ５１０において（本明細書で想定されている任意の構成例による）校正ターゲットは１以上のカメラ（慣用的光学系、テレセントリック光学系、レーザ変位、飛行時間などの適当なメカニズムに従って動作する）からなるビジョンシステムの視野内に配置されている。カメラは片側又は複数の（例えば相対する）側からターゲットを撮像するように向けることができる。それぞれのカメラからの画像はステップ５２０で通常同時に取得され、取得された画像データはビジョンシステムプロセス（プロセッサ）に送信される。各画像内の特徴は、ビジョンツール（例えばエッジ、コーナーなど）を使用して配置され、ステップ５３０においてカメラの座標系と関連付けられる。

手順５００においてはステップ５４０で、特定の校正ターゲット上の校正特徴の関係（例えば真の相対位置）が、記憶装置から、或いは（他のメカニズムと並んで）ターゲット上のＩＤコードを読み取ることによりアクセスされる。ここで図６を参照すると、校正ターゲットの特徴関係データを含む、例示的な適用されたＩＤコード読み取るための手順６００が示されている。ＩＤコードは、ＩＤが適用される既知の位置又は領域のスキャンに基づいて、又はより一般的には（例えば）従来のＩＤ発見及び復号化プロセスを使用したＩＤ特徴の検索に基づいてターゲット上に配置される（ステップ６１０）。手順６００は発見されたＩＤを復号化し、ステップ６２０で復号化された情報を撮像された校正ターゲットに関連付けてビジョンシステムプロセッサのメモリに保存する。様々な実施形態において、ＩＤは特徴位置座標若しくは他の関係を直接符号化することができ、又はダウンロード可能なデータベースなど他のソースから座標を読み出すことを可能にする識別子を含むことができる。

例示的な手順６００において読み出された特徴関係データは、ステップ６３０で、校正ターゲットの画像内の実際に配置された特徴（例えば測定された相対位置）に関連付けられ（図５のステップ５３０も参照）、ステップ５５０（図５）に従い、校正モジュール／プロセス（プロセッサ）はターゲット内の特徴の既知の位置に配置された特徴を関係データから変換して、相対位置をビジョンシステムのローカル座標空間（１以上のカメラを含む）に変換する。即ち、校正プロセスは、校正ビジョンシステムによって校正ターゲット上に配置されたどの特徴が、関係データ内の特徴に対応するかを決定する。この対応は、ターゲット上の基準を関係データ内の同じ基準の位置で登録し、次に周囲の特徴を基準に対するそれらの相対位置に応じて埋めることよって達成できる。様々な実施形態において、校正ターゲットはアートワーク内の所定の位置に埋め込まれた基準を含むことができ、各基準は表面全体の一部を参照することに留意されたい。基準は、下側にある特徴に関する詳細（例えばチェッカーボードのコーナーの数、サイズ、位置など）を含むデータマトリックスコードなどのＩＤを含むことができる。例えば、図１の校正ターゲット１２０の表面上のＩＤ１９０を参照されたい。図６の任意選択のステップ６４０は、そのような埋め込まれたコードの発見及び読み取りを記載している。この構成は、例えば校正ターゲットの一部が１以上のカメラに隠れている場合や、カメラの視野がターゲットの表面全体よりも小さいために特定のカメラがターゲット全体の一部しか撮像できない場合に望ましいことがある。埋め込まれたＩＤにより、ビジョンシステムプロセッサは個別のビューをグローバル座標系に向けることが可能になり、（任意選択で）部分ビューをターゲットの単一の全体画像に登録できる。

図５の校正手順５００のステップ５６０で、変換された特徴は各カメラの校正パラメータとしてビジョンシステム（１以上のカメラを含む）に保存され、後続の実行時ビジョンシステム操作で使用される。

ＩＶ．代替的な校正ターゲットの配置構成

上述した校正ターゲットは、２組の２Ｄ特徴を有する片面又は両面プレート構造として示されており、下側にある下部プレートと、それより面積／寸法が小さい下部プレートが互いに積み重ねられているので両プレートの特徴を観察及び撮像できる。別の実施形態では、関連する格納された表現を備えた特徴の単一層を使用することができる。これは、特に校正中にビジョンシステムがプレート上のすべての特徴を精密に撮像することが困難な配置において、２Ｄ（又は３Ｄ）校正の望ましい実装である。撮像されたターゲット上で大まかに識別された特徴は、保存／アクセスされた特徴関係を使用して、特徴の精密な表現に変換できる。

他の校正ターゲットの実施形態は、積み重ねられた２組以上の２Ｄ特徴を採用できる。図７は、下部プレート７２０と、より小さい寸法の中間プレート７３０と、更に小さい寸法の上部プレート７４０を含む例示的な校正ターゲット７１０の部分図を示す。この配置はピラミッド型であるため、各プレートの特徴をカメラで観察及び撮像できる。プレートは対称的又は中心に積み重ねる必要はないことに留意されたい。特徴が何らかのやり方で積み重ねられ、ｚ軸（高さ）次元に沿って間隔をおくことができる限り、ターゲットは所期の機能を果たすことができる。１つの代替的配置は、ステップパターンであることができる。別の実施形態では、３以上のプレートを積み重ねることができ、ターゲットは配置構成のそれぞれ反対側に積み重ねられた複数のプレートを提供することができる。上記の埋め込まれたＩＤ基準７５０は、表面全体の隣接する特徴の位置を識別するために設けられていることに留意されたい。

別の代替構成では、校正ターゲットは図８に示すような立方体８１０などの多面体－を含むことができる。この実施形態では、この３Ｄオブジェクトの２以上の直交面８２０及び８３０が校正パターンを含んでいる。少なくとも１つの表面８２０は、ビジョンシステムによって読み取られて復号化され得る特徴関係データを備えたＩＤラベル８４０を含むものとして示されている。１実施形態において、３６０度の観察及び校正用に側面を配置することができる。いずれの実施形態においても、ＩＤラベルは校正ターゲット上の任意の適当な位置又は複数の位置に配置できることに留意されたい。

Ｖ．結論

上述した校正ターゲットとその製造及び使用のための方法が、２Ｄ及び３Ｄビジョンシステムを校正するための高い信頼性と汎用性のあるメカニズムを提供することは明らかである。校正ターゲットは製造及び使用が簡単で、製造及び印刷工程における不正確さを許容する。同様に、ターゲットは、特徴関係をユーザに提供して、ビジョンシステムを校正するための広範なメカニズムを可能にする。また、このターゲットは１回の画像取得ステップで全３６０度の校正を効果的に可能にする。

以上は本発明の例示的な実施形態を詳細に説明したものである。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば、本明細書で使用される様々な方向及び／又は向きを表わす用語（及びそれらの文法的変化）、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」、「前方」、「後方」、及びこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。また、本明細書中で使用される「プロセス」及び／又は「プロセッサ」という言葉は広く電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネント（或いは機能的「モジュール」又は「エレメント」と呼ぶことがある）を含むものと解釈すべきであることにも留意されたい。更に、表示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせを用いて実施できることが明確に想定されている。また、様々な実施形態が積み重ねられたプレートを示しているが、表面は、プレートの一部が下側にある表面との接触から離れているようにスペーサ又は他の距離生成部材を使用して一緒に組み立てることができる。したがって、この説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。

以下に特許請求の範囲を記載する。

Claims (17)

1. 校正特徴をビジョンシステムのローカル座標空間にマッピングする画像変換を生成するための方法であって、
   当該方法は校正ターゲットの第１の表面と前記校正ターゲットの第２の表面の第１の画像を取得するステップを有し、ここで、前記第１の表面は第１の校正パターンを有し、前記第２の表面は第２の校正パターンを有し、
   当該方法は前記第１の画像から校正特徴の測定された相対位置を特定するステップを有し、
   当該方法は第１の校正パターンと第２の校正パターン上の校正特徴の真の相対位置を定義する少なくとも１つのデータソースから校正特徴の真の相対位置を特定するステップを有し、ここで、前記データソースは校正ターゲットの画像を取得する校正ビジョンシステムによって識別可能であり、さらに
   当該方法は、前記真の相対位置及び測定された相対位置から、前記測定された相対位置をビジョンシステムのローカル座標空間に変換する画像変換を生成するステップを有する、
   上記方法。
2. 前記第１の画像を取得することは、前記校正ターゲットの第３の表面と前記校正ターゲットの第４の表面を含み、前記第３の表面は第３の校正パターンを有し、前記第４の表面は第４の校正パターンを有する、請求項１記載の方法。
3. 前記ビジョンシステムは１台のカメラを含む、請求項１記載の方法。
4. 前記データソースは、（ａ）前記校正ターゲット上のコード、（ｂ）別個の印刷されたコード、及び（ｃ）前記校正ビジョンシステムのプロセッサによってアクセス可能な電子データソース、の少なくとも１つを含む、請求項１に記載の方法。
5. 前記第１の表面と前記第２の表面とは距離で隔てられている、請求項１記載の方法。
6. 前記校正ビジョンシステムは、２Ｄビジョンシステム、２．５Ｄビジョンシステム、及び３Ｄビジョンシステムのうちの１つである、請求項１記載の方法。
7. 前記第１の画像は２Ｄ画像又は３Ｄ画像の少なくとも１つである、請求項１記載の方法。
8. 前記測定された相対位置は、２Ｄ座標又は３Ｄ座標を含む、請求項１記載の方法。
9. 校正特徴をビジョンシステムのローカル座標空間にマッピングする画像変換を生成するための方法であって、
   当該方法は校正ターゲットの第１の表面の複数の画像を取得するステップを有し、ここで、前記第１の表面は第１の校正パターンを有し、
   当該方法は前記複数の画像の少なくとも１つの画像から校正特徴の測定された相対位置を特定するステップを有し、
   当該方法は前記第１の校正パターン上の校正特徴の真の相対位置を定義する少なくとも１つのデータソースから校正特徴の真の相対位置を特定するステップを有し、ここで、前記第データソースは、前記校正ターゲットの複数の画像を取得する校正ビジョンシステムによって識別可能であり、さらに
   当該方法は前記真の相対位置と前記測定された相対位置から、前記測定された相対位置をビジョンシステムのローカル座標空間に変換する画像変換を生成するステップを有する、
   上記方法。
10. 前記複数の画像を取得することは、前記校正ターゲットの第２の表面を含み、前記第２の表面は第２の校正パターンを有する、請求項９記載の方法。
11. 前記第１の表面と前記第２の表面とは距離で隔てられている、請求項１０記載の方法。
12. 前記ビジョンシステムは複数のカメラを含む、請求項９記載の方法。
13. 前記データソースは、（ａ）校正ターゲット上のコード、（ｂ）別個の印刷コード、及び（ｃ）前記校正ビジョンシステムのプロセッサによってアクセス可能な電子データソース、の少なくとも１つを含む、請求項９記載の方法。
14. 前記校正ビジョンシステムは、２Ｄビジョンシステム、２．５Ｄビジョンシステム、及び３Ｄビジョンシステムのうちの１つである、請求項９記載の方法。
15. 前記複数の画像は、複数の２Ｄ画像又は複数の３Ｄ画像の少なくとも１つである、請求項９記載の方法。
16. 前記測定された相対位置は２Ｄ座標又は３Ｄ座標を含む、請求項９記載の方法。
17. 校正特徴をビジョンシステムのローカル座標空間にマッピングする画像変換を生成するためのシステムであって、
    当該システムは校正ターゲットの第１の表面の複数の画像を提供するプロセッサを備え、ここで、前記第１の表面は第１の校正パターンを有し、
    当該システムは前記複数の画像の少なくとも１つから校正特徴の相対位置を測定する測定プロセスを備え、
    当該システムは前記第１の校正パターン上の校正特徴の真の相対位置を定義するデータソースを有し、ここで、前記データソースは前記校正ターゲットの複数の画像を取得する校正ビジョンシステムによって識別可能であり、さらに
    当該システムは、前記真の相対位置に基づいて前記測定された相対位置を前記ビジョンシステムのローカル座標空間に変換する画像変換プロセスを備える、
    上記システム。

Images