JP2005316758A - Method and apparatus for detecting position - Google Patents
Method and apparatus for detecting position Download PDFInfo
- Publication number
- JP2005316758A JP2005316758A JP2004134476A JP2004134476A JP2005316758A JP 2005316758 A JP2005316758 A JP 2005316758A JP 2004134476 A JP2004134476 A JP 2004134476A JP 2004134476 A JP2004134476 A JP 2004134476A JP 2005316758 A JP2005316758 A JP 2005316758A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference pattern
- image data
- frequency
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ワイヤボンディング装置、テープボンディング装置等の半導体組立装置におけるICチップ等の位置検出方法およびその装置に関する。 The present invention relates to a position detection method for an IC chip or the like in a semiconductor assembly apparatus such as a wire bonding apparatus or a tape bonding apparatus, and an apparatus therefor.
従来、基準パターン(ティーチ画像)をボンディング前に登録しておき、ボンディング開始後の位置合わせ時にCCDカメラ等で取り込まれる画像(サーチ画像)の中で基準パターンがどの位置にあるかを探索するパターンマッチングが用いられている。濃淡画像によるパターンマッチングには、正規化相関の手法が用いられている。 Conventionally, a reference pattern (teach image) is registered before bonding, and a pattern for searching for the position of the reference pattern in an image (search image) captured by a CCD camera or the like at the time of alignment after the start of bonding Matching is used. A normalized correlation technique is used for pattern matching using grayscale images.
基準パターンとサーチ画像とを直接、正規化相関を行うには多大な処理時間が必要となる。このため、前段で基準パターンとサーチ画像の双方の画像を圧縮して、画像のデータ量を減らした圧縮画像によりラスタ走査を行って正規化相関処理による広範囲の検索を行う(粗検出)。また、圧縮画像による検索後に得られる最大の相関値を持つ圧縮したサーチ画像の位置を検出し、検出したサーチ画像の位置の周囲と非圧縮の実サイズの基準パターンによる両者の相対位置を変えながら正規化相関処理を行い、最大の相関値を持つサーチ画像の位置を検出する。正規化相関処理は圧縮画像による検索を行うようにして位置検出の処理時間を短縮するようにしている。 A great deal of processing time is required to perform a normalized correlation directly between the reference pattern and the search image. For this reason, both the reference pattern and the search image are compressed in the previous stage, and raster scanning is performed with the compressed image with a reduced data amount of the image, and a wide range search is performed by normalized correlation processing (coarse detection). In addition, the position of the compressed search image having the maximum correlation value obtained after the search with the compressed image is detected, and the relative position between the detected search image position and the uncompressed actual size reference pattern is changed. Normalized correlation processing is performed to detect the position of the search image having the maximum correlation value. In the normalized correlation process, a search using a compressed image is performed to shorten the processing time for position detection.
図7は従来の位置検出の処理の流れをフローチャートで示したものである。図7に示すように、基準パターンは、テーチング時にマニピュレータによりカメラをICチップ上に移動して、ICチップの定点がモニタ上のクロスラインの交点に位置するようにして、カメラの映像信号をデジタル変換して画像処理装置の画像フレームメモリに記憶する。画像フレームメモリが記憶している画像の所定の領域を切り出して、切り出した画像データを基準パターンとしのティーチ画像f1としてメモリに記憶して登録する(ステップS50)。また、ティーチ画像f1の画像データの圧縮処理を行い、圧縮ティーチ画像fc1を生成し、圧縮ティーチ画像fc1としてメモリに記憶して登録する(ステップS51)。圧縮処理は、例えば、画像データの縦および横方向にn画素ごとにサンプリングを行って、サンプリングしたデータから圧縮ティーチ画像fc1を生成するようにしている。なお、テーチング時のティーチ画像の登録は、位置検出を行う個所ごとに行うようにする。 FIG. 7 is a flowchart showing the flow of conventional position detection processing. As shown in FIG. 7, the reference pattern is obtained by moving the camera onto the IC chip by a manipulator during teaching so that the fixed point of the IC chip is positioned at the intersection of the cross lines on the monitor, The image is converted and stored in the image frame memory of the image processing apparatus. A predetermined area of the image stored in the image frame memory is cut out, and the cut out image data is stored and registered in the memory as a teach image f1 as a reference pattern (step S50). Further, the image data of the teach image f1 is compressed to generate a compressed teach image fc1, which is stored and registered in the memory as the compressed teach image fc1 (step S51). In the compression processing, for example, sampling is performed every n pixels in the vertical and horizontal directions of the image data, and the compressed teach image fc1 is generated from the sampled data. It should be noted that the registration of the teach image at the time of teaching is performed for each location where position detection is performed.
次に、位置検出の処理について述べる。位置検出は、カメラの映像信号をデジタル変換して画像処理装置の画像フレームメモリにサーチ画像f2として記憶して(ステップS52)、サーチ画像f2の縦、横方向にn画素ごとにサンプリングを行って圧縮した画像データfc2を生成する(ステップS53)。生成した圧縮画像fc2の全体と圧縮ティーチ画像fc1との正規化相関処理を行って(ステップS54)、圧縮画像fc2上の最大相関値fc2max(xc、yc)の位置(xc、yc)を検出する(ステップS55)。次に、圧縮画像fc2で検出した位置(xc、yc)を中心とするサーチ画像f2と基準パターンf1との両者の相対位置を変えながらの正規化相関処理を行い(ステップS56)、最大相関値fmax(xd、yd)を求めて、その位置(xd、yd)を検出する(ステップS57)。 Next, the position detection process will be described. In the position detection, the video signal of the camera is digitally converted and stored as a search image f2 in the image frame memory of the image processing apparatus (step S52), and sampling is performed every n pixels in the vertical and horizontal directions of the search image f2. The compressed image data fc2 is generated (step S53). Normalized correlation processing is performed between the entire generated compressed image fc2 and the compressed teach image fc1 (step S54), and the position (xc, yc) of the maximum correlation value fc2max (xc, yc) on the compressed image fc2 is detected. (Step S55). Next, normalized correlation processing is performed while changing the relative positions of the search image f2 centered on the position (xc, yc) detected in the compressed image fc2 and the reference pattern f1 (step S56), and the maximum correlation value is obtained. fmax (xd, yd) is obtained and its position (xd, yd) is detected (step S57).
なお、ワイヤボンディング装置における位置検出方法として正規化相関処理を用いた実施例が特許文献1に開示されている。
Note that an embodiment using normalized correlation processing as a position detection method in a wire bonding apparatus is disclosed in
ワイヤボンディング装置等における位置検出では、背景ノイズ等が重畳された画像を処理する必要がある。しかしながら、正規化相関処理ではサーチ画像に位置検出対象物以外の信号ノイズ、背景ノイズ等が重畳されていた場合、ノイズの影響により位置検出の精度がばらつき、ICチップのパッド上のワイヤやリードの接合位置のばらつきが発生したりすることがある。 In position detection in a wire bonding apparatus or the like, it is necessary to process an image on which background noise or the like is superimposed. However, in the normalized correlation processing, when signal noise other than the position detection target object, background noise, etc. are superimposed on the search image, the accuracy of position detection varies due to the noise, and the wire or lead on the pad of the IC chip In some cases, the bonding position may vary.
位置検出精度を一定のレベルにまで引き上げ、位置検出精度のばらつきを少なくするためには正規化相関処理の演算処理過程において画像ノイズの消去が必要となる。ノイズ、背景ノイズ等が重畳された画像のノイズ処理として、入力画像のフィルタリング、画像データの周波数領域によるバンドパス処理がある。 In order to raise the position detection accuracy to a certain level and reduce variations in position detection accuracy, it is necessary to eliminate image noise in the calculation process of the normalized correlation process. As noise processing of an image on which noise, background noise, and the like are superimposed, there are filtering of an input image and bandpass processing using a frequency domain of image data.
しかしながら、入力画像のフィルタリングは、実信号に直接フィルタリング処理を行うために行列を使用したラスタ走査が必要であり、多大な処理時間を要する。一方、周波数領域に変換した画像データをバンドパスなどの閥値処理を行うには、図7に示すステップS52におけるサーチ画像f2全体、もしくはステップS56の切り出される画像に対してフーリエ変換などの直交変換を行うことが必要となり処理時間の増大につながる。これにより、処理スピードと位置検出精度のバランスが悪く、効率の良いアルゴリズムを構築することは困難であった。このため、画像に含まれるノイズ除去を処理過程の早い段階で行って、処理スピードを向上させて、また、ノイズ除去を行うことにより、検出精度を向上させることが課題となっている。 However, the filtering of the input image requires raster scanning using a matrix in order to perform the filtering process directly on the real signal, and requires a great amount of processing time. On the other hand, in order to perform threshold processing such as bandpass on the image data converted into the frequency domain, orthogonal transform such as Fourier transform is applied to the entire search image f2 in step S52 shown in FIG. 7 or the image cut out in step S56. Need to be performed, leading to an increase in processing time. As a result, the balance between processing speed and position detection accuracy is poor, and it has been difficult to construct an efficient algorithm. For this reason, it is a problem to improve detection accuracy by removing noise contained in an image at an early stage of the processing process to improve processing speed and removing noise.
そこで本発明は、上記課題に鑑みて成されたものであり、画像の信号ノイズ、背景ノイズの変化による位置検出率の低下を防止し、サブピクセルの精度を得ること、また、ICチップ等の位置検出処理が短時間で行うことが可能な位置検出方法およびその装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and prevents a decrease in position detection rate due to a change in image signal noise and background noise to obtain subpixel accuracy, as well as an IC chip or the like. An object of the present invention is to provide a position detection method and apparatus capable of performing position detection processing in a short time.
本発明による位置検出方法は、基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチングステップと、前記マッチングステップで検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出ステップと、前記切出ステップで切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出ステップと、前記クロススペクトル算出ステップで算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去ステップと、前記周波数除去ステップで除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出ステップと、前期ピーク値検出ステップで検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出ステップとを備えたことを特徴とする。 The position detection method according to the present invention includes a matching step for detecting a position of image data that most closely matches the reference pattern by matching the reference pattern and image data from the imaging means, and a reference centered on the position detected in the matching step. A cutout step of cutting out an area having the same size as a pattern from the image data, a crossspectrum calculation step of calculating a crossspectrum between the image data cut out in the cutout step and a reference pattern, and a calculation in the crossspectrum calculation step The cross spectrum amplitude data is compared with a preset threshold value, a frequency removal step for removing the frequency of the amplitude data below the threshold value, and the cross spectrum excluding the frequency removed in the frequency removal step is subjected to inverse Fourier transform, Inverse Fourier transformed data A peak value detecting step for detecting a position up to the peak value of the data, and a phase shift amount calculating step for calculating a phase shift amount between the image data at the position detected in the previous peak value detecting step and the reference pattern. Features.
また、本発明による位置検出方法の前記マッチングステップは、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする。 The matching step of the position detection method according to the present invention is a normalized correlation process between an image compressed reference pattern and image compressed image data from an imaging means.
また、本発明による位置検出方法の前記位相シフト量算出ステップは、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出ステップで切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする。 The phase shift amount calculating step of the position detection method according to the present invention includes a transfer function between a reference pattern frequency spectrum obtained by Fourier transforming a reference pattern and an image data frequency spectrum obtained by performing Fourier transform on the image data cut out at the cutout step. The phase shift amount is calculated from the phase characteristics of
また、本発明による位置検出装置は、基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチング手段と、前記マッチング手段で検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出手段と、前記切出手段で切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出手段と、前記クロススペクトル算出手段で算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去手段と、前記周波数除去手段で除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出手段と、前期ピーク値検出手段で検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出手段とを備えたことを特徴とする。
In addition, the position detection device according to the present invention has a matching unit that detects the position of image data that most closely matches the reference pattern by matching the reference pattern and image data from the imaging unit, and the position detected by the matching unit. Cutting means for cutting out an area having the same size as the reference pattern from the image data, cross spectrum calculating means for calculating a cross spectrum between the image data cut out by the cutting means and the reference pattern, and the cross spectrum calculating means The amplitude data of the cross spectrum calculated in
また、本発明による位置検出装置の前記マッチング手段は、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする。 The matching means of the position detection apparatus according to the present invention is a normalized correlation process between an image compressed reference pattern and image data from an image compressed image pickup means.
また、本発明による位置検出装置の前記位相シフト量算出手段は、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出手段で切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする。 Further, the phase shift amount calculation means of the position detection apparatus according to the present invention includes a transfer function between a reference pattern frequency spectrum obtained by Fourier transforming a reference pattern and an image data frequency spectrum obtained by Fourier transforming the image data cut out by the cutout means. The phase shift amount is calculated from the phase characteristics of
本発明による位置検出方法およびその装置によれば、圧縮した画像を利用し、正規化相関演算から得られる粗い精度での位置検出を行った後に、画像データと基準パターンとのクロススペクトルデータに対して閾値処理を行い、信号ノイズや背景ノイズを除去して位置検出を行うようにする。これにより、ノイズの影響による位置検出率、位置検出精度の低下を防止することができる。 According to the position detection method and the apparatus according to the present invention, after performing position detection with coarse accuracy obtained from the normalized correlation calculation using the compressed image, the cross spectrum data between the image data and the reference pattern is detected. Threshold processing is performed, and signal noise and background noise are removed to perform position detection. Thereby, it is possible to prevent a decrease in position detection rate and position detection accuracy due to the influence of noise.
また、本発明による位置検出方法およびその装置によれば、周波数伝達関数の位相の直線性を利用することで、有効なデータ点数が確保できるためサブピクセル単位の位置精度精度を得ることができる。 Further, according to the position detection method and apparatus according to the present invention, by utilizing the linearity of the phase of the frequency transfer function, an effective number of data points can be secured, so that the position accuracy accuracy in units of subpixels can be obtained.
また、本発明による位置検出方法およびその装置によれば、正規化相関処理による粗検出後のサーチ画像とティーチ画像とによる両者の相対位置を変えながらの正規化相関処理が不要となるため、位置検出処理を短時間で行うことができる。 Further, according to the position detection method and apparatus according to the present invention, the normalized correlation process is not required while changing the relative positions of the search image and the teach image after the coarse detection by the normalized correlation process. The detection process can be performed in a short time.
以下図面を参照して、本発明による半導体組立装置における位置検出方法およびその装置の実施の形態について説明する。図1は、本発明による位置検出装置を用いたワイヤボンディング装置の構成を示すブロック図、図2は、本発明による位置検出方法を用いた位置検出装置の構成を示すブロック図、図3は、位置検出時に使用する基準パターンの登録手順を示すフローチャート、図4は、ワイヤボンディング装置における本発明による位置検出方法を説明するためのフローチャートである。 Embodiments of a position detecting method and apparatus in a semiconductor assembly apparatus according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a wire bonding apparatus using a position detection device according to the present invention, FIG. 2 is a block diagram showing a configuration of a position detection device using a position detection method according to the present invention, and FIG. FIG. 4 is a flowchart for explaining a position detection method according to the present invention in a wire bonding apparatus.
図1に示すように、ワイヤボンディング装置1は、撮像手段としてのカメラ3と、キャピラリ4aが先端に装着されたボンディングアーム4と、ボンディングアーム4を上下に駆動するボンディングヘッド5と、ボンディングアーム4及びボンディングヘッド5からなるボンディング手段及び撮像手段を搭載してX方向及びY方向に二次元的に移動させて位置決めする位置決め手段としてのXYテーブル6と、ボンディングヘッド5によるボンディング作業が行なわれるボンディングステージ8を有する搬送装置7とを備えており、ボンディングステージ8は、複数のチップが長手方向に並べて貼着された基板、リードフレーム等を加熱するヒータ(図示せず)を有している。
As shown in FIG. 1, a
また、図1に示すように、半導体組立装置としてのワイヤボンディング装置1は、カメラ3からの撮像信号を受けて画像データから被ボンディング部品の定点のずれ量を検出する位置検出手段としての位置検出装置10と、位置検出装置10からの映像出力を受けるモニタ11と、マイクロプロセッサ12a、メモリ12bを有する制御装置12と、XYテーブル6を手動にて移動させるための信号を制御装置12に出力するマニュピュレータ15と、制御装置12からの指令信号に応じてボンディングヘッド5及びXYテーブル6への駆動信号を発する駆動装置13とが設けられている。制御装置12のメモリ12bには、ワイヤボンディング装置1を制御するためのマイクロプロセッサ12a用のプログラム、ボンディング点の位置座標等を記憶した位置座標テーブル等が格納されている。
Further, as shown in FIG. 1, a
次に、図2を用いて上記構成からなるワイヤボンディング装置1に用いられている位置検出装置10について説明する。図2に示すように、位置検出装置10は、CPU、演算回路、インターフェース回路を内蔵したFPGA(プログラマブルアレー)10aと、基準パターンとしてのティーチ画像等を記憶するデータストア用メモリ10bと、CPUの演算、制御処理でのデータを一時的に記憶するワークメモリ10dと、CPUが実行する画像処理用のプログラムを記憶したプログラムメモリ10cと、カメラ3からの画像データを記憶する画像フレームメモリ10eと、カメラ3に制御信号を出力するカメラ用ドライバ10fと、カメラ3からの信号をデジタルに変換するA/D変換器10gと、液晶モニタ11等に映像信号等を出力するモニタ用ドライバ10hと、外部との通信を行う通信用ドライバ10jと、位置検出装置10をPCIバスに接続するためのPCIブリッジ10kを有している。
Next, the
カメラ3は、位置検出装置10のカメラ用ドライバ10fから出力される同期信号、撮像開始のトリガー信号等の信号により撮像を行って、映像信号を位置検出装置10のA/D変換器10gに出力する。位置検出装置10は、A/D変換器10gによりデジタル変換されたデジタル値を所定の周波数のクロックでサンプリングして、画像フレームメモリ10eに画像データを記憶する。FPGA10aに内蔵したCPUおよび演算回路は、以下に説明する正規化相関処理、フーリエ変換、逆フーリエ変換等の処理を行うものである。また、FPGAに内蔵したCPUおよび演算回路は、演算等を並列に処理することが可能となるように構成されている。
The
次に、上記構成から成るワイヤボンディング装置1および位置検出装置10における位置検出処理について、図3および図4に示すフローチャートを用いて説明する。位置検出処理は、位置検出装置10のFPGA10aに内蔵したCPUがプログラムメモリ10cに記憶した処理プログラムを実行することにより行われる。
Next, position detection processing in the
図3に示すように、最初に、位置検出時に使用する基準パターンとしてのティーチ画像の登録を行う。ティーチ画像の登録は、最初に、テーチング時にマニピュレータによりカメラ3をICチップ上に移動して、ICチップの定点が図1に示すモニタ11上のクロスライン11aの交点に位置するようにして、カメラ3の映像信号をA/D変換器10gによりデジタル変換して位置検出装置10の画像フレームメモリ10eに記憶する(ステップS1)。また、制御装置12は、このときのXYテーブル6の位置をメモリ12bの位置座標テーブルに基準座標として記憶する。
As shown in FIG. 3, first, a teach image is registered as a reference pattern used for position detection. To register the teach image, first, the
次に、CPUは、図1に示すモニタ11上に表示されるウインドウ11b内の画像データを画像フレームメモリ10eから切り出して、切り出した画像データをティーチ画像f1(x、y)として記憶する(ステップS2)。なお、ティーチ画像f1(x、y)は、2次元の画素配列で構成されている。次に、ティーチ画像f1にフーリエ変換処理を行い、周波数スペクトルF1(u,v)を作成してデータストア用メモリ10bに記憶する(ステップS3)。フーリエ変換処理は、離散的フーリエ変換を高速化した高速フーリエ変換(FFT)を用いている。高速フーリエ変換によりティーチ画像f1(x、y)から生成された周波数スペクトルF1(u,v)は、2次元の行列で構成される。なお、(u,v)は、(x、y)方向の各周波数変数を示す。また、ティーチ画像f1(x、y)の画像の圧縮処理を行い、圧縮処理した画像のデータをティーチ画像の圧縮画像fc1(x、y)としてデータストア用メモリ10bに記憶する(ステップS4)。圧縮処理は、画像データの縦および横方向にn画素ごとにサンプリングを行って、サンプリングしたデータから圧縮画像を生成するようにしている。
Next, the CPU cuts out the image data in the window 11b displayed on the
以上の処理により、基準パターンのティーチ画像f1(x、y)、周波数スペクトルF1(u,v)および圧縮画像fc1(x、y)の各画像データがデータストア用メモリ10bに記憶される。
With the above processing, each image data of the teach image f1 (x, y), frequency spectrum F1 (u, v), and compressed image fc1 (x, y) of the reference pattern is stored in the
次に、図4に示すフローチャートを用いて位置検出処理について説明する。最初に、制御装置12は、メモリ12bの位置座標テーブルかた基準座標を読み出して、位置決め手段としてのXYテーブル6に搭載されたカメラ3を基準の位置に移動するようにする。XYテーブル6の移動停止後に、位置検出装置10はカメラ3からのICチップ上の定点付近の画像データを画像フレームメモリ10eに取り込むようにする(以後、この画像データをサーチ画像f2と称する)(ステップS10)、画像フレームメモリ10eに記憶しているサーチ画像f2(x、y)からサーチ圧縮画像fc2(x、y)の生成を行う(ステップS11)。なお、サーチ圧縮画像fc2(x、y)は、ティーチ時と同一の圧縮処理を行って生成されるものである。
Next, position detection processing will be described using the flowchart shown in FIG. First, the
次に、データストア用メモリ10bに記憶されているティーチ画像の圧縮画像fc1(x、y)を読み出して、ティーチ画像の圧縮画像fc1(x、y)とサーチ画像の圧縮画像fc2(x、y)との正規化相関処理を行う(ステップS12)。正規化相関処理によりサーチ画像の圧縮画像fc2(x、y)の全体をラスタ走査を行って、最大相関値fcmax(xc、yc)を検出する(ステップS13)。このとき、圧縮画像の正規化相関処理によって得られる最大相関値fcmax(xc、yc)が、前もって設定した基準値M以上の値であることをチェックして(ステップS14)、基準値M以上の最大相関値を有するサーチ画像f2(xc、yc)を、以後の処理で使用するようにする。なお、基準値Mは、正規化相関処理でのサーチ画像にティーチ画像と類似した画像が含まれているかを判断するためのものである。最大相関値が基準値M未満のときには、サーチ画像にティーチ画像と類似した画像が含まれていないと判断してエラー警報を出力し、以後の処理を行わないようにする。最大相関値fcmax(xc、yc)が基準値M以上の値であるときには、最大相関値fcmax(xc、yc)の位置(xc、yc)を検出位置とする(ステップS15)。なお、サーチ画像f2のXY軸の原点から最大相関値fcmax(xc、yc)の検出位置(xc、yc)を正規化相関処理のずれ量Lcとする。
Next, the compressed image fc1 (x, y) of the teach image stored in the
次にステップS15で得られた最大相関値fcmax(xc、yc)の位置(xc、yc)を中心として画像フレームメモリ10eのサーチ画像f2(x、y)からティーチ画像f1(x、y)と同一面積の画像f3(x、y)を切り出す(ステップS16)。切り出した画像f3(x、y)にフーリエ変換を行って周波数スペクトルF3(u,v)を生成する(ステップS17)。 Next, from the search image f2 (x, y) in the image frame memory 10e to the teach image f1 (x, y) centered on the position (xc, yc) of the maximum correlation value fcmax (xc, yc) obtained in step S15. An image f3 (x, y) having the same area is cut out (step S16). The extracted image f3 (x, y) is subjected to Fourier transform to generate a frequency spectrum F3 (u, v) (step S17).
次に、前もって周波数領域に変換されたティーチ画像f1(x、y)の周波数スペクトルF1(u,v)と画像f3(x、y)の周波数スペクトルF3(u,v)の二つの画像データに対してクロススペクトルF4(u,v)を求める(ステップS18)。なお、クロススペクトルF4(u,v)は、(1)式で求められる
F4(u,v)=F1*(u,v)・F3(u,v) ・・・ (1)
ただし、F1*(u,v)は、F1(u,v)の共役複素数を示す。また、(u,v)は、(x、y)方向の各周波数変数を示す。
(1)式に示すクロススペクトルF4(u,v)は、複素行列を成し、行列の各要素は、実数部と虚数部からなる。
Next, two image data of the frequency spectrum F1 (u, v) of the teach image f1 (x, y) and the frequency spectrum F3 (u, v) of the image f3 (x, y), which have been transformed into the frequency domain in advance, are obtained. On the other hand, the cross spectrum F4 (u, v) is obtained (step S18). The cross spectrum F4 (u, v) is obtained by the equation (1).
F4 (u, v) = F1 * (u, v) .F3 (u, v) (1)
Here, F1 * (u, v) represents a conjugate complex number of F1 (u, v). Further, (u, v) represents each frequency variable in the (x, y) direction.
The cross spectrum F4 (u, v) shown in the equation (1) forms a complex matrix, and each element of the matrix includes a real part and an imaginary part.
次に、クロススペクトルF4(u,v)の振幅成分の振幅データ|F4(u,v)|を求める(ステップS19)。振幅データ|F4(u,v)|をFPとしたとき、各周波数の振幅データFPに対して閾値処理を行い、閾値TL未満の振幅データFPを持った周波数の実数部、虚数部を共に0にする処理を行って、クロススペクトルF4TL(u,v)を算出する(ステップS20)。すなわち、FP<TLのときには、F4TL(u,v)=0とし、FP≧TLのときには、F4TL(u,v)のデータを保持するようにする。 Next, amplitude data | F4 (u, v) | of the amplitude component of the cross spectrum F4 (u, v) is obtained (step S19). When the amplitude data | F4 (u, v) | is FP, threshold processing is performed on the amplitude data FP of each frequency, and both the real part and imaginary part of the frequency having the amplitude data FP less than the threshold TL are 0. The cross spectrum F4TL (u, v) is calculated (step S20). That is, when FP <TL, F4TL (u, v) = 0, and when FP ≧ TL, data of F4TL (u, v) is held.
閾値処理を施したクロススペクトルF4TL(u,v)に逆フーリエ変換を行って、再び実信号領域x、yの相互相関関数f4(x、y)を算出して(ステップS21)、実信号領域ので相互相関関数f4(x、y)の最大値f4max(xs、ys)の位置データ(xs,ys)を検出する(ステップS22)。なお、ステップS22で得られた最大相関値を持つ位置(xs、ys)は、サンプリング間隔の精度、つまり画素単位の精度となる。 The cross spectrum F4 TL (u, v) subjected to the threshold processing is subjected to inverse Fourier transform, and the cross-correlation function f4 (x, y) of the real signal regions x and y is calculated again (step S21). The position data (xs, ys) of the maximum value f4max (xs, ys) of the cross-correlation function f4 (x, y) in the region is detected (step S22). Note that the position (xs, ys) having the maximum correlation value obtained in step S22 has the accuracy of the sampling interval, that is, the accuracy in units of pixels.
図5(b)は、ステップS20でのクロススペクトルF4(u,v)の閾値処理を行い、閾値処理を施したクロススペクトルF4TL(u,v)に逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフである。また、図5(a)は、ステップS20でのクロススペクトルF4(u,v)の閾値処理を行わずに、クロススペクトルF4(u,v)に逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフである。なお、図5は実信号領域のX軸方向における相互相関関数を示し、横軸は画素から成る画像範囲を示し、縦軸は相互相関値を示す。 FIG. 5B shows a cross-correlation function by performing threshold processing of the cross spectrum F4 (u, v) in step S20 and performing inverse Fourier transform on the cross spectrum F4 TL (u, v) subjected to threshold processing. It is a graph which shows an example of the result of having calculated. In FIG. 5A, the cross-correlation function is calculated by performing inverse Fourier transform on the cross spectrum F4 (u, v) without performing the threshold processing of the cross spectrum F4 (u, v) in step S20. It is a graph which shows an example of the result obtained. FIG. 5 shows the cross-correlation function in the X-axis direction of the real signal region, the horizontal axis shows the image range composed of pixels, and the vertical axis shows the cross-correlation value.
被検出画像には、ノイズやICチップの表面状態の変化による反射光のバラツキ、接着剤のはみ出しによる輝度レベルの変化した画像として表れ、クロススペクトルF4(u,v)は図5(a)に示すように不要な周波数成分が含まれている。このため、閾値処理を行ってノイズ等を含んだ不要な周波数成分を除去するようにしている。 The detected image appears as an image in which the reflected light varies due to noise or changes in the surface state of the IC chip, and the luminance level changes due to the protrusion of the adhesive, and the cross spectrum F4 (u, v) is shown in FIG. As shown, unnecessary frequency components are included. For this reason, threshold processing is performed to remove unnecessary frequency components including noise and the like.
また、ティーチの際にカメラ3の焦点、各照明系を操作することで得られる画像は一般にユーザーが位置検出対象物を判別しやすい状態、つまり輪郭が鮮明になった状態になっている。この画像にスペクトル解析を行うと、振幅データにおいて輪郭情報を含む周波数領域は振幅が大きく、逆に背景ノイズ等の位置検出精度に悪影響を及ぼす周波数領域は振幅が小さいなっている。したがって閾値処理を行うことによりは図5(b)に示すようにノイズが除去され、ノイズが除去されたクロススペクトルに逆フーリエ変換を施すことにより、ピーク検出値の検出を容易に行うことができる。また、このことは最終的に位置精度にも影響し、従来よりも精度良く、かつノイズに強い位置検出が可能となる。
In addition, an image obtained by operating the focus of the
なお、クロススペクトル、逆フーリエ変換後のデータにおけるピーク検出は放物線近似やsinc関数近似がよく用いられるが、生産工程で使用されるワイヤボンディング装置に要求される検出精度や処理時間を満たすことができない。このため、十分な検出精度を得るための有効なデータ点数が確保できて、かつ処理時間が短いアルゴリズムが必要となる。このため、本発明では逆フーリエ変換後のデータから得られる移動量を利用し、これを周波数領域における位相シフト量として、逆フーリエ変換を行う前のデータに対して掛け合わせることで1画素以内の検出を行うようにしている。これにより良好なサブピクセル精度を実現している。 In addition, although the parabolic approximation and the sinc function approximation are often used for the peak detection in the data after the cross spectrum and the inverse Fourier transform, the detection accuracy and processing time required for the wire bonding apparatus used in the production process cannot be satisfied. . Therefore, an algorithm that can secure an effective number of data points for obtaining sufficient detection accuracy and has a short processing time is required. For this reason, in the present invention, the movement amount obtained from the data after the inverse Fourier transform is used, and this is used as the phase shift amount in the frequency domain and multiplied by the data before the inverse Fourier transform to within one pixel. Detection is performed. This achieves good subpixel accuracy.
以下に、位置検出のサブピクセル精度の検出について述べる。ティーチ画像f1(x、
y)に対するサーチ画像f2(x、y)の位置ずれ量をL(xl、yl)と定義する。図4に示すステップS22で検出される位置の精度は、サンプリング間隔精度、つまり画素となる。このときの位置ずれ量をLs(xs,ys)とし、1サンプリング間隔内(1画素未満)の位置ずれ量をLr(xr、yr)としたとき、LはL=Ls+Lrとなる。
Hereinafter, detection of sub-pixel accuracy for position detection will be described. Teach image f1 (x,
The amount of displacement of the search image f2 (x, y) with respect to y) is defined as L (xl, yl). The accuracy of the position detected in step S22 shown in FIG. 4 is the sampling interval accuracy, that is, the pixel. When the positional deviation amount at this time is Ls (xs, ys) and the positional deviation amount within one sampling interval (less than one pixel) is Lr (xr, yr), L is L = Ls + Lr.
なお、Lsは、ステップS22における相互相関関数f4の最大値f4max(xs、ys)までの距離となる。本発明は、さらにLrを求めることで高精度を実現するものである。 Note that Ls is a distance to the maximum value f4max (xs, ys) of the cross-correlation function f4 in step S22. The present invention further achieves high accuracy by obtaining Lr.
図3に示すステップS3のティーチ画像f1をFFTにより周波数領域に変換した周波数スペクトルF1(u,v)と、図4に示すステップS17の切り出した画像f3にフーリエ変換を行った周波数スペクトルF3(u,v)とから伝達関数をG(u,v)を算出する(ステップS23)。伝達関数をG(u,v)とすると、入力F1(u,v)と出力F3(u,v)との関係は、(2)式で表される。 The frequency spectrum F1 (u, v) obtained by transforming the teach image f1 in step S3 shown in FIG. 3 into the frequency domain by FFT, and the frequency spectrum F3 (u) obtained by performing Fourier transform on the image f3 cut out in step S17 shown in FIG. , V) to calculate a transfer function G (u, v) (step S23). When the transfer function is G (u, v), the relationship between the input F1 (u, v) and the output F3 (u, v) is expressed by equation (2).
F3(u,v)=G(u,v)・F1(u,v) ・・・ (2)
(2)式は、ずれ量(移動量)Ls+Lrを含んだものである、(2)式を−Ls移動させることにより画素の小数点以下のずれ量(移動量)Lrのみを含んだ式が得られる。なお、移動量(−Ls)の周波数領域での位相シフト量は、ej(u,v)Lsとなる(ステップS24)。
(2)式を位相シフト量(ej(u,v)Ls)で補正することにより(3)式を得ることができる。
ej(u,v)Ls・F3(u,v)=ej(u,v)Ls・G(u,v)・F1(u,v) ・・・ (3)
(3)式の右辺のej(u,v)Ls・G(u,v)を 伝達関数Q(u,v)とすると、Q(u,v)=ej(u,v)Ls・G(u,v)となる。伝達関数 Q(u,v)の位相特性から周波数u,vに対する位相データを求める(ステップS25)。
F3 (u, v) = G (u, v) · F1 (u, v) (2)
The expression (2) includes the shift amount (movement amount) Ls + Lr. By moving the expression (2) by −Ls, an expression including only the shift amount (movement amount) Lr below the decimal point of the pixel is obtained. It is done. Note that the phase shift amount in the frequency region of the movement amount (-Ls) is ej (u, v) Ls (step S24).
By correcting the equation (2) with the phase shift amount (ej (u, v) Ls), the equation (3) can be obtained.
ej (u, v) Ls.F3 (u, v) = ej (u, v) Ls.G (u, v) .F1 (u, v) (3)
If ej (u, v) Ls · G (u, v) on the right side of equation (3) is the transfer function Q (u, v), then Q (u, v) = ej (u, v) Ls · G ( u, v). Phase data for the frequencies u and v is obtained from the phase characteristics of the transfer function Q (u, v) (step S25).
図6にQxy(u,v)の位相特性を示す。縦軸は位相であり、横軸は周波数uまたはvを示す。伝達関数Q(u,v)が1画素以上の位置ずれの成分を含んでいる場合には、鋸波形を示すが、Q(u,v)はG(u,v)をej(u,v)Lsで補正しているので、図6に示すように直線性を示す。周波数uまたはvに対する位相の直線性を示すデータから最小二乗法により直線の傾きを求め、求めた傾きの値を画素の小数点以下のずれ量Lrとする(ステップS26)。最小二乗法を用いて傾きを求めることにより、良好なサブピクセル精度(1画素未満の精度)の位置ずれ量L(xl、yl)を得ることができる。 FIG. 6 shows the phase characteristics of Qxy (u, v). The vertical axis represents the phase, and the horizontal axis represents the frequency u or v. When the transfer function Q (u, v) includes a component of positional deviation of one pixel or more, a saw waveform is shown, but Q (u, v) represents G (u, v) as ej (u, v). ) Since it is corrected by Ls, linearity is shown as shown in FIG. The slope of the straight line is obtained from the data indicating the linearity of the phase with respect to the frequency u or v by the least square method, and the obtained slope value is set as a shift amount Lr after the decimal point of the pixel (step S26). By obtaining the slope using the least square method, it is possible to obtain a positional deviation amount L (xl, yl) with good subpixel accuracy (accuracy of less than one pixel).
以上により、ICチップ上の定点の検出位置(ずれ量)は、正規化相関処理のずれ量Lc+Ls+Lrとして検出される。 As described above, the detection position (deviation amount) of the fixed point on the IC chip is detected as the deviation amount Lc + Ls + Lr in the normalized correlation process.
以上述べたように、本発明による位置検出方法およびその装置によれば、圧縮した画像を利用し、正規化相関演算から得られる粗い精度での位置検出を行った後に、画像データと基準パターンとのクロススペクトルデータに対して、閾値を設定して、信号ノイズや背景ノイズを除去して位置検出を行うため、ノイズの影響による位置検出率、位置検出精度の低下を防止することができる。 As described above, according to the position detection method and apparatus according to the present invention, after performing position detection with coarse accuracy obtained from the normalized correlation calculation using the compressed image, the image data and the reference pattern Since the threshold is set for the cross spectrum data and the position detection is performed by removing the signal noise and the background noise, it is possible to prevent the position detection rate and the position detection accuracy from being lowered due to the influence of the noise.
また、本発明による位置検出方法およびその装置によれば、周波数伝達関数の位相の直線性を利用することで、有効なデータ点数が確保できるためサブピクセル単位の位置精度精度を得ることができる。 Further, according to the position detection method and apparatus according to the present invention, by utilizing the linearity of the phase of the frequency transfer function, an effective number of data points can be secured, so that the position accuracy accuracy in units of subpixels can be obtained.
また、本発明による位置検出装置は、FPGAに内蔵したCPU、演算回路が、演算等を並列に処理することが可能であるため、位置検出処理を短時間で行うことができる。 In addition, the position detection device according to the present invention can perform the position detection process in a short time because the CPU and the arithmetic circuit built in the FPGA can process the arithmetic operation and the like in parallel.
1 ワイヤボンディング装置
3 カメラ
4 ボンディングアーム
4a キャピラリ
5 ボンディングヘッド
6 XYテーブル
7 搬送装置
8 ボンディングステージ
10 位置検出装置
10a FPGA
10b データストア用メモリ
10c プログラムメモリ
10d ワークメモリ
10e 画像フレームメモリ
10f カメラ用ドライバ
10g A/D変換器
10h モニタ用ドライバ
10j 通信用ドライバ
10k PCIブリッジ
11 モニタ
11a クロスライン
11b ウインド
12 制御装置
12a マイクロプロセッサ
12b メモリ
13 駆動装置
15 マニュピュレータ
DESCRIPTION OF
10b
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134476A JP2005316758A (en) | 2004-04-28 | 2004-04-28 | Method and apparatus for detecting position |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134476A JP2005316758A (en) | 2004-04-28 | 2004-04-28 | Method and apparatus for detecting position |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005316758A true JP2005316758A (en) | 2005-11-10 |
Family
ID=35444113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004134476A Pending JP2005316758A (en) | 2004-04-28 | 2004-04-28 | Method and apparatus for detecting position |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005316758A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7457721B2 (en) * | 2004-04-22 | 2008-11-25 | The University Of Electro-Communications | Method and apparatus for measuring small displacement |
WO2019207642A1 (en) * | 2018-04-24 | 2019-10-31 | 日本電気株式会社 | Image comparison device |
-
2004
- 2004-04-28 JP JP2004134476A patent/JP2005316758A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7457721B2 (en) * | 2004-04-22 | 2008-11-25 | The University Of Electro-Communications | Method and apparatus for measuring small displacement |
WO2019207642A1 (en) * | 2018-04-24 | 2019-10-31 | 日本電気株式会社 | Image comparison device |
JPWO2019207642A1 (en) * | 2018-04-24 | 2021-03-18 | 日本電気株式会社 | Image collation device |
JP6992880B2 (en) | 2018-04-24 | 2022-02-03 | 日本電気株式会社 | Image collation device |
US11748442B2 (en) | 2018-04-24 | 2023-09-05 | Nec Corporation | Image matching device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3951984B2 (en) | Image projection method and image projection apparatus | |
JP5923824B2 (en) | Image processing device | |
CN110163912B (en) | Two-dimensional code pose calibration method, device and system | |
JP2009064409A (en) | System and method for tracking input device using display screen in captured frames of image data | |
JP2003030653A (en) | Image processing method, image processor and bonding device | |
JPWO2006082639A1 (en) | Mark image processing method, program, and apparatus | |
JP5939775B2 (en) | Image processing apparatus, image processing program, robot apparatus, and image processing method | |
JP5449980B2 (en) | Motion compensation apparatus and method | |
JP4041042B2 (en) | Defect confirmation device and defect confirmation method | |
JP2005316758A (en) | Method and apparatus for detecting position | |
JP4041060B2 (en) | Image processing apparatus and image processing method | |
JP2009074825A (en) | Defect inspection method and defect inspection device | |
JP4635651B2 (en) | Pattern recognition apparatus and pattern recognition method | |
JP3632461B2 (en) | Image recognition method | |
JPH08114426A (en) | Method and device for inspecting bending of wire | |
WO2014084056A1 (en) | Testing device, testing method, testing program, and recording medium | |
JP5005482B2 (en) | Pattern search method and apparatus | |
JP4860452B2 (en) | Mark positioning method and apparatus using template matching | |
JPH0737893B2 (en) | Pattern matching method | |
JP3093450B2 (en) | Semiconductor chip recognition device | |
JP7396741B2 (en) | Mounting equipment, mounting method and mounting control program | |
JP3858633B2 (en) | Bonding state inspection method | |
JPH06277864A (en) | Laser beam machining device | |
JP2008181261A (en) | Method and device for extracting contour line of object | |
JP2008045887A (en) | Inspection device |