JP2000081309A - ディジタル画像処理によって目標物の位置を測定する方法 - Google Patents

ディジタル画像処理によって目標物の位置を測定する方法

Info

Publication number
JP2000081309A
JP2000081309A JP11099851A JP9985199A JP2000081309A JP 2000081309 A JP2000081309 A JP 2000081309A JP 11099851 A JP11099851 A JP 11099851A JP 9985199 A JP9985199 A JP 9985199A JP 2000081309 A JP2000081309 A JP 2000081309A
Authority
JP
Japan
Prior art keywords
image
target
pixel
test image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11099851A
Other languages
English (en)
Inventor
Jianyong Wen
ジャンヨン・ウェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Besi Switzerland AG
Original Assignee
Esec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Esec AG filed Critical Esec AG
Publication of JP2000081309A publication Critical patent/JP2000081309A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 所定のピクセルグリッドによって目標物の位
置を測定するための精度を高めることを可能にする画像
処理の方法を提案する。 【解決手段】 ディジタル画像処理により目標物の位置
を測定する方法を用いて、学習段階において、第1基準
画像2に加えて、該第1基準画像2に対してCCDカメ
ラのピクセル1の数だけ各々がずらされた幾つかの基準
画像が記録されかつ貯蔵される。実施段階においては、
前記目標物のテスト画像が記録され、かつ、前記テスト
画像と前記幾つかの基準画像のうちの任意の1つとの最
適な整合が存在する前記テスト画像の位置を見つめるた
めに、前記テスト画像と全ての基準画像との比較がなさ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、請求項1のプリア
ンブルによれば、目標物の位置を測定する方法に関す
る。
【0002】
【従来の技術】画像処理方法は、x座標とy座標とによ
って与えられた設定位置に対する目標物の実際の位置を
測定するために、産業上のプロセスにおいて用いられて
いる。測定された位置測定値に応じて、目標物の矯正的
移動が、例えばマニピュレータを制御することにより行
われる。通常は、CCD画像カメラは、(目標物の実際
の位置を記録する)テスト画像の他に(設定位置を測定
する)基準画像を記録するために用いられる。前記テス
ト画像の幾つかの部分−例えば、スクリーンの対角線上
に存在する2つの部分−が評価される場合には、2つの
座標方向における位置に加えて、平面における目標物の
回転についても測定することができる。
【0003】このような方法の利用については、とりわ
け、後でより詳細に扱う半導体組立技術において公知で
ある。チップ表面上で利用可能な回路構成から選択され
た画像領域をここで用いることができ、その結果、前記
回路構成の繰り返しの非常に高い精度は、単一チップか
ら記録されかつディジタル形式に貯蔵された1つの画像
をもたらすことを可能にする。この画像は、一連の類似
したチップ全体に対する基準画像として用いられる。
【0004】公知のCCDカメラを用いて、前記画像
は、規則的なグリッドシステムレイアウトにおける“ピ
クセル”と称される離散的なセンサ要素を有するセンサ
の配列上に投影される。これらのセンサは、画像平面に
おけるx座標方向またはy座標方向に沿った行と列との
マトリクス形式で配置されている。これらのピクセル
は、連続して応答指令信号を送られ(interrogated)、
かつ、各々のピクセル座標に割り当てられた離散的なグ
レースケール値を送る。これらの離散的グレースケール
値は、ディジタル形式で貯蔵され、かつ、対応するピク
セル座標とともに処理される。このようなカメラの解像
度は、単位面積当たりのピクセル数により与えられる。
前記解像度については、単位面積当たりのピクセル数を
増加させることにより増大することができるが、高解像
度のカメラは、512×512ピクセルの標準的なカメ
ラよりもはるかに高価である。さらに、ディジタル処理
のためには、増大したコンピュータの性能だけでなく、
より大きなメモリ容量も必要になる。
【0005】コンピュータ化された画像処理により、テ
スト画像と貯蔵された基準画像との間の整合の程度が、
種々の相対的位置において段階的に測定される。例え
ば、グレースケール・マトリクスの標準的な相関関係
は、比較された画像領域に関して計算される。ピクセル
グリッドによって与えられたものよりも高い位置決め精
度を達成するために、補間法を用いることができる。詳
細には、最適に計算された整合値(相関係数)を描く放
物線と、両方の隣接値とを計算し、これにより、この放
物線のピーク位置を、求められる補間値として仮定する
ことは公知である。しかしながら、このような補間は、
仮定された放物線が実際の条件と一致しない可能性が高
いという点で、全く不正確である。
【0006】最後に、視覚イメージを離散的ピクセルグ
リッド上に投影させることにより作り出される、さらな
る誤差の原因に注意すべきである。この視覚イメージ
は、概してピクセルグリッドに対して一致して修正され
る。また、CCDカメラは、例えば丸く黒いパッチに対
する種々のグレースケール信号を、前記パッチの投影が
ピクセルの中央に集まっているか、または4つの隣接ピ
クセルと隣接している角に集まっているかに応じて送
る。
【0007】
【発明が解決しようとする課題】本発明の目的は、妥当
な価格において、所定のピクセルグリッドによって目標
物の位置を測定するための精度を高めることを可能にす
る画像処理の方法を提案することである。
【0008】前記目的は、本発明の請求項1の特徴によ
って解決される。
【0009】
【課題を解決するための手段】本発明によれば、この目
的は、学習段階の間に、中央の基準画像に加えて、該基
準画像の周囲に集められた他の幾つかの基準画像が記録
されかつ保存されるという点において解決される。前記
幾つかの基準画像の各々は、ピクセルの数(fraction)
だけ前記中央の基準画像に対してずらされている。実施
段階(workingphase)においては、目標物の実際の位置
を測定するために、そのテスト画像が、一方では前記中
央の基準画像と比較され、かつ他方では、前記他の基準
画像と比較される。前記目標物のサブピクセル補正値
は、前記他の基準画像から測定される。この接続におけ
るサブピクセル補正値を用いて、ベクトルとして説明可
能な補正値が生じ、これにより、ベクトルの成分は、
x,yの双方の座標方向において、ピクセルグリッドに
よりもたらされた増加量よりも小さくなっている。
【0010】
【発明の実施の形態】本発明の実施形態について、図面
を参照して以下に、より詳細に説明する。図1および図
2は、第1および第2基準位置に設置されているCCD
カメラのピクセル上に投影された目標物の画像である。
図3は、相関値を有するマトリクスである。図4は、位
置および方位が2つの目標物によって測定可能であるア
イテムである。
【0011】ディジタル画像処理によって目標物の位置
を測定する方法は、学習段階と実施段階とを有してい
る。前記学習段階において、前記目標物は、x方向と、
該x方向に垂直なy方向とに移動可能なテーブルによっ
てCCDカメラの視野のフィールドにもたらされ、これ
により、基準目標物が第1基準位置に配置される。
【0012】図1は、CCDカメラのピクセル1上に投
影された前記第1基準位置に配置された、例えば十字形
状の目標物の画像2を示している。前記CCDカメラの
ピクセル1については、前記画像2が存在する範囲内の
みで示されている。このピクセル1は、マトリクス形式
における間隔dの列および行の形で配列されている。ピ
クセル1により測定された画像2の輝度値は、第1基準
画像としてディジタル形式で保存される。その後に、テ
ーブルを動かすことによって、前記目標物は、他の基準
位置へもたらされる。前記他の基準位置は、x方向およ
び/またはy方向において間隔dのピクセルの数だけ前
記第1基準位置に対してずらされている。さらに、前記
ピクセル1により測定された前記画像2の輝度値もま
た、前記他の基準位置の各々における他の基準画像とし
てディジタル形式で貯蔵される。より詳細な図示に関し
ては、図2が、前記CCDカメラのピクセル1上に投影
された第2基準位置に配置されている目標物の画像2を
示している。前記第2基準位置は、x方向においてピク
セル間隔の半分、すなわちd/2の間隔だけ前記第1基
準位置に対してずらされている。座標表示において、前
記第2基準位置にある目標物は、前記第1基準位置に対
してベクトル(d/2,0)だけずらされている。
【0013】前記他の基準位置の数および位置について
は、自由に選択可能である。前記実施段階において、1
/2ピクセル間隔の解像度によって目標物の位置を得る
ためには、前記第1基準位置と8つの他の基準位置とに
相当する9つの基準位置を用いることが好ましい。これ
により、前記8つの他の基準位置は、x方向およびy方
向にベクトル(−d/2,0),(−d/2,−d/
2),(0,−d/2),(d/2,−d/2),(d
/2,0),(d/2,d/2),(0,d/2),
(−d/2,d/2)だけ、前記第1基準位置に対して
ずらされている。0.25ピクセルの解像度のために
は、25の基準位置を用いることが同様に好ましく、か
つ、0.125ピクセルの解像度のためには、81の基
準位置を用いることが好ましい。
【0014】前記実施段階において、位置を測定すべき
目標物は、CCDカメラの視界のフィールドにもたらさ
れ、かつ、ピクセル上に投影された前記目標物の画像
は、テスト画像としてディジタル形式で記録される。そ
の後に、この目標物の位置は、前記テスト画像を貯蔵さ
れた基準画像と比較することにより、公知の方法で測定
される。好ましい方法について、図3を参照して以下
に、より詳細に説明する。図3においては、相関値がマ
トリクス形式のフィールドにおける例として配置されて
いる。この例において、他の基準画像の数は8である。
【0015】第1段階においては、従来技術でのよう
に、前記テスト画像と前記第1基準画像との比較のみ
が、前記目標物の位置が測定されるまで行われる。前記
位置において、前記テスト画像の位置を前記基準画像と
整合させるための基準である相関値は最大であると仮定
している。図3において、この計算された相関値は、5
つの太線フィールド3,3’の各々の中心に入れられて
おり、これにより、中央のフィールド3’における相関
値が最大となっている。本例においては、この最大の相
関値が70に達していると仮定している。この中央のフ
ィールド3’は、例えば、前記第1基準画像に対して、
x方向に4ピクセルかつy方向に3ピクセルだけずらさ
れている目標物の位置に対応している。残りの4つのフ
ィールド3は、正または負のx方向またはy方向にそれ
ぞれ1ピクセルだけずらされている目標物の位置に割当
てられている。
【0016】第2段階において、前記テスト画像の位置
が、前記第1段階において測定されたようにx方向に4
ピクセルかつy方向に3ピクセルだけ、前記8つの他の
基準画像に対してずらされている場合に生じる相関値が
計算される。与えられる模範的な相関値は、フィールド
4に入れられている。x方向またはy方向におけるフィ
ールド3間の間隔が1ピクセルに達している一方で、フ
ィールド3と隣接フィールド4との間の間隔が1/2ピ
クセルに達していることが分かる。この例は、フィール
ド4’における相関値が最大で75になるように選択さ
れている。したがって、x方向に4.5ピクセルかつy
方向に2.5ピクセルだけ、前記第1基準画像に対して
ずらされている前記目標物の最適位置は、1/2ピクセ
ルの解像度によって見つけられる。
【0017】選択的に、第3段階においては、4つの相
関値が測定される。これらの4つの相関値は、前記テス
ト画像の位置が、正または負のx方向またはy方向にそ
れぞれ1ピクセルだけ最も高い相関値を有する基準画像
に対して再びずらされている場合に生じる。模範的な5
5,64,66,60の値を有するこれらの4つの相関
値は、対応するフィールド4の右上の隅に入れられてい
る。x軸に沿って配置されている3つのフィールド4
(図3ではxの印がついている)の相関値の補間と、y
軸に沿って配置されている3つのフィールド4(図3で
はyの印がついている)の相関値の補間とによって、目
標物の位置を、従来技術でのように、すなわち放物線補
間により、サブピクセル範囲に存在する精度を有して測
定することができる。この例においては、前記目標物の
位置は、前記第1基準画像の位置に対してx方向に4.
4ピクセルかつy方向に2.7ピクセルだけずらされた
ものとして生じている。
【0018】明らかに、異なった基準画像に関してでは
あるが前記目標物のほぼ同じ位置に関して計算された、
前記第1基準画像に対するこれらの相関値の平均をと
り、かつ、これらの平均した相関値を補間のために用い
ることが可能である。
【0019】前記方法については、比較的単純な目標物
の位置を測定するためにだけでなく、2次元のアイテム
5の位置および方位を測定するためにも用いることがで
きる。図4は、このような例を示している。アイテム5
は、例えば長方形形状の半導体チップであり、該半導体
チップに関して、2つのドットのような円6,7が、2
つの斜方向に対向する角にある目標物として認識でき
る。xy平面における前記アイテム5のxy位置を測定
し、かつ、x軸に対するその回転角度φを測定するため
に、円6の位置および円7の位置は、前述した方法によ
って、前記実施段階において順次的に測定される。一旦
円6,7の位置が測定されると、アイテム5の回転角度
φを公知の方法で計算することができる。
【図面の簡単な説明】
【図1】 第1基準位置に設置されているCCDカメラ
のピクセル上に投影された目標物の画像である。
【図2】 第2基準位置に設置されているCCDカメラ
のピクセル上に投影された目標物の画像である。
【図3】 相関値を有するマトリクスである。
【図4】 位置および方位が2つの目標物によって測定
可能であるアイテムである。
【符号の説明】
1 ピクセル 2 画像 3,3’ フィールド 4,4’ フィールド 5 アイテム 6,7 円

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 実施段階において、目標物のテスト画像
    がカメラにより記録され、かつ、それ以前の学習段階に
    おいて、ディジタル形式で貯蔵された第1の基準画像と
    比較されるという、ディジタル画像処理によって目標物
    の位置を測定する方法において、 前記学習段階において、前記第1基準画像に加えて、該
    第1基準画像に対して前記カメラのピクセルの数だけ各
    々がずらされている幾つかの基準画像が記録されかつ貯
    蔵されることと、 前記実施段階において、全ての他の基準画像に対する、
    前記テスト画像の比較が、前記テスト画像と前記他の基
    準画像のうちの任意の1つとの最適な整合が存在する前
    記目標物の位置を見つけるために行われることとを特徴
    とする方法。
  2. 【請求項2】 実施段階において、最初に、前記テスト
    画像と前記第1基準画像との最適な整合が存在する前記
    目標物の位置が測定されるまで、前記比較が、前記第1
    基準画像に対してだけ行われることと、その後に、前記
    テスト画像と前記他の基準画像のうちの任意の1つとの
    最適な整合が存在する前記目標物の位置を見つけるため
    に、前記比較が、前記他の基準画像に対して行われるこ
    ととを特徴とする請求項1に記載の方法。
JP11099851A 1998-05-07 1999-04-07 ディジタル画像処理によって目標物の位置を測定する方法 Pending JP2000081309A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP98810420A EP0955605A1 (de) 1998-05-07 1998-05-07 Verfahren zur Lagebestimmung eines Objektes mittels digitaler Bildverarbeitung
EP98810420.4 1998-05-07

Publications (1)

Publication Number Publication Date
JP2000081309A true JP2000081309A (ja) 2000-03-21

Family

ID=8236076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11099851A Pending JP2000081309A (ja) 1998-05-07 1999-04-07 ディジタル画像処理によって目標物の位置を測定する方法

Country Status (4)

Country Link
EP (1) EP0955605A1 (ja)
JP (1) JP2000081309A (ja)
KR (1) KR19990088074A (ja)
TW (1) TW414884B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041910A (ja) * 2005-08-04 2007-02-15 Shinsedai Kk 指示位置検出方法
CN102506705A (zh) * 2011-10-17 2012-06-20 罗艺 Pcb板上定位标记坐标的获取方法、装置及贴片设备
CN110986765A (zh) * 2019-12-04 2020-04-10 北京自动化控制设备研究所 背面套刻误差测量方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2431787B (en) 2005-10-31 2009-07-01 Hewlett Packard Development Co A method of tracking an object in a video stream

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4853968A (en) * 1987-09-21 1989-08-01 Kulicke & Soffa Industries, Inc. Pattern recognition apparatus and method
JPS6482279A (en) * 1987-09-25 1989-03-28 Yaskawa Denki Seisakusho Kk Subpixel precision template matching method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041910A (ja) * 2005-08-04 2007-02-15 Shinsedai Kk 指示位置検出方法
CN102506705A (zh) * 2011-10-17 2012-06-20 罗艺 Pcb板上定位标记坐标的获取方法、装置及贴片设备
CN102506705B (zh) * 2011-10-17 2014-04-09 罗艺 Pcb板上定位标记坐标的获取方法、装置及贴片设备
CN110986765A (zh) * 2019-12-04 2020-04-10 北京自动化控制设备研究所 背面套刻误差测量方法

Also Published As

Publication number Publication date
TW414884B (en) 2000-12-11
EP0955605A1 (de) 1999-11-10
KR19990088074A (ko) 1999-12-27

Similar Documents

Publication Publication Date Title
CN109035320B (zh) 基于单目视觉的深度提取方法
US5548326A (en) Efficient image registration
US7155030B2 (en) Camera calibration system using planar concentric circles and method thereof
US5978081A (en) Multiple field of view calibration plate for use in semiconductor manufacturing
CN110163918B (zh) 一种基于射影几何的线结构光标定方法
CN111263142B (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
US6208769B1 (en) Method of accurately locating the fractional position of a template match point
US20040085256A1 (en) Methods and measurement engine for aligning multi-projector display systems
CN112465912B (zh) 一种立体相机标定方法及装置
US20050276513A1 (en) Method for characterizing a digital imaging system
CN111707187B (zh) 一种大型零件的测量方法及系统
JPH07234105A (ja) 光点位置計測方法
CN112132891A (zh) 一种扩大标定空间的方法
CN113781579B (zh) 一种全景红外相机几何标定方法
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2000081309A (ja) ディジタル画像処理によって目標物の位置を測定する方法
CN110490941B (zh) 一种基于法向量的远心镜头外参数标定方法
CN112419427A (zh) 用于提高飞行时间相机精度的方法
JP2003042717A (ja) ラインスキャンカメラを用いる平面運動物体の変位測定マーカーとその測定方法
CN108898585B (zh) 一种轴类零件检测方法及其装置
CN115713564A (zh) 相机标定方法及装置
CN115170434A (zh) 一种用于线结构光3d相机的误差校正方法以及装置
JPH11132735A (ja) Icリード浮き検査装置及び検査方法
Benosman et al. Panoramic sensor calibration
AU753454B2 (en) Method of accurately locating the fractional position of a template match point