JP2005316758A - Method and apparatus for detecting position - Google Patents

Method and apparatus for detecting position Download PDF

Info

Publication number
JP2005316758A
JP2005316758A JP2004134476A JP2004134476A JP2005316758A JP 2005316758 A JP2005316758 A JP 2005316758A JP 2004134476 A JP2004134476 A JP 2004134476A JP 2004134476 A JP2004134476 A JP 2004134476A JP 2005316758 A JP2005316758 A JP 2005316758A
Authority
JP
Japan
Prior art keywords
image
reference pattern
image data
frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004134476A
Other languages
Japanese (ja)
Inventor
Noritaka Horiuchi
則孝 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaijo Corp
Original Assignee
Kaijo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaijo Corp filed Critical Kaijo Corp
Priority to JP2004134476A priority Critical patent/JP2005316758A/en
Publication of JP2005316758A publication Critical patent/JP2005316758A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and an apparatus for detecting a position in which the reduction of a position detection rate due to changes in signal noise and background noise of an image can be prevented and the accuracy of sub-pixel can be obtained. <P>SOLUTION: After performing positional detection at rough accuracy obtained from normalized correlation operation by using a compressed image, a cross spectrum between the frequency spectrum of image data on the position and the frequency spectrum of a reference pattern is calculated and threshold processing is applied to the cross spectrum data to remove signal noise and background noise and detect the position. The number of effective data points is secured by using the linearity of a phase of a frequency transfer function to obtain position detection accuracy in each sub-pixel. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ワイヤボンディング装置、テープボンディング装置等の半導体組立装置におけるICチップ等の位置検出方法およびその装置に関する。   The present invention relates to a position detection method for an IC chip or the like in a semiconductor assembly apparatus such as a wire bonding apparatus or a tape bonding apparatus, and an apparatus therefor.

従来、基準パターン(ティーチ画像)をボンディング前に登録しておき、ボンディング開始後の位置合わせ時にCCDカメラ等で取り込まれる画像(サーチ画像)の中で基準パターンがどの位置にあるかを探索するパターンマッチングが用いられている。濃淡画像によるパターンマッチングには、正規化相関の手法が用いられている。   Conventionally, a reference pattern (teach image) is registered before bonding, and a pattern for searching for the position of the reference pattern in an image (search image) captured by a CCD camera or the like at the time of alignment after the start of bonding Matching is used. A normalized correlation technique is used for pattern matching using grayscale images.

基準パターンとサーチ画像とを直接、正規化相関を行うには多大な処理時間が必要となる。このため、前段で基準パターンとサーチ画像の双方の画像を圧縮して、画像のデータ量を減らした圧縮画像によりラスタ走査を行って正規化相関処理による広範囲の検索を行う(粗検出)。また、圧縮画像による検索後に得られる最大の相関値を持つ圧縮したサーチ画像の位置を検出し、検出したサーチ画像の位置の周囲と非圧縮の実サイズの基準パターンによる両者の相対位置を変えながら正規化相関処理を行い、最大の相関値を持つサーチ画像の位置を検出する。正規化相関処理は圧縮画像による検索を行うようにして位置検出の処理時間を短縮するようにしている。   A great deal of processing time is required to perform a normalized correlation directly between the reference pattern and the search image. For this reason, both the reference pattern and the search image are compressed in the previous stage, and raster scanning is performed with the compressed image with a reduced data amount of the image, and a wide range search is performed by normalized correlation processing (coarse detection). In addition, the position of the compressed search image having the maximum correlation value obtained after the search with the compressed image is detected, and the relative position between the detected search image position and the uncompressed actual size reference pattern is changed. Normalized correlation processing is performed to detect the position of the search image having the maximum correlation value. In the normalized correlation process, a search using a compressed image is performed to shorten the processing time for position detection.

図7は従来の位置検出の処理の流れをフローチャートで示したものである。図7に示すように、基準パターンは、テーチング時にマニピュレータによりカメラをICチップ上に移動して、ICチップの定点がモニタ上のクロスラインの交点に位置するようにして、カメラの映像信号をデジタル変換して画像処理装置の画像フレームメモリに記憶する。画像フレームメモリが記憶している画像の所定の領域を切り出して、切り出した画像データを基準パターンとしのティーチ画像f1としてメモリに記憶して登録する(ステップS50)。また、ティーチ画像f1の画像データの圧縮処理を行い、圧縮ティーチ画像fc1を生成し、圧縮ティーチ画像fc1としてメモリに記憶して登録する(ステップS51)。圧縮処理は、例えば、画像データの縦および横方向にn画素ごとにサンプリングを行って、サンプリングしたデータから圧縮ティーチ画像fc1を生成するようにしている。なお、テーチング時のティーチ画像の登録は、位置検出を行う個所ごとに行うようにする。   FIG. 7 is a flowchart showing the flow of conventional position detection processing. As shown in FIG. 7, the reference pattern is obtained by moving the camera onto the IC chip by a manipulator during teaching so that the fixed point of the IC chip is positioned at the intersection of the cross lines on the monitor, The image is converted and stored in the image frame memory of the image processing apparatus. A predetermined area of the image stored in the image frame memory is cut out, and the cut out image data is stored and registered in the memory as a teach image f1 as a reference pattern (step S50). Further, the image data of the teach image f1 is compressed to generate a compressed teach image fc1, which is stored and registered in the memory as the compressed teach image fc1 (step S51). In the compression processing, for example, sampling is performed every n pixels in the vertical and horizontal directions of the image data, and the compressed teach image fc1 is generated from the sampled data. It should be noted that the registration of the teach image at the time of teaching is performed for each location where position detection is performed.

次に、位置検出の処理について述べる。位置検出は、カメラの映像信号をデジタル変換して画像処理装置の画像フレームメモリにサーチ画像f2として記憶して(ステップS52)、サーチ画像f2の縦、横方向にn画素ごとにサンプリングを行って圧縮した画像データfc2を生成する(ステップS53)。生成した圧縮画像fc2の全体と圧縮ティーチ画像fc1との正規化相関処理を行って(ステップS54)、圧縮画像fc2上の最大相関値fc2max(xc、yc)の位置(xc、yc)を検出する(ステップS55)。次に、圧縮画像fc2で検出した位置(xc、yc)を中心とするサーチ画像f2と基準パターンf1との両者の相対位置を変えながらの正規化相関処理を行い(ステップS56)、最大相関値fmax(xd、yd)を求めて、その位置(xd、yd)を検出する(ステップS57)。   Next, the position detection process will be described. In the position detection, the video signal of the camera is digitally converted and stored as a search image f2 in the image frame memory of the image processing apparatus (step S52), and sampling is performed every n pixels in the vertical and horizontal directions of the search image f2. The compressed image data fc2 is generated (step S53). Normalized correlation processing is performed between the entire generated compressed image fc2 and the compressed teach image fc1 (step S54), and the position (xc, yc) of the maximum correlation value fc2max (xc, yc) on the compressed image fc2 is detected. (Step S55). Next, normalized correlation processing is performed while changing the relative positions of the search image f2 centered on the position (xc, yc) detected in the compressed image fc2 and the reference pattern f1 (step S56), and the maximum correlation value is obtained. fmax (xd, yd) is obtained and its position (xd, yd) is detected (step S57).

なお、ワイヤボンディング装置における位置検出方法として正規化相関処理を用いた実施例が特許文献1に開示されている。   Note that an embodiment using normalized correlation processing as a position detection method in a wire bonding apparatus is disclosed in Patent Document 1.

特開2002−190021JP2002-190021

ワイヤボンディング装置等における位置検出では、背景ノイズ等が重畳された画像を処理する必要がある。しかしながら、正規化相関処理ではサーチ画像に位置検出対象物以外の信号ノイズ、背景ノイズ等が重畳されていた場合、ノイズの影響により位置検出の精度がばらつき、ICチップのパッド上のワイヤやリードの接合位置のばらつきが発生したりすることがある。   In position detection in a wire bonding apparatus or the like, it is necessary to process an image on which background noise or the like is superimposed. However, in the normalized correlation processing, when signal noise other than the position detection target object, background noise, etc. are superimposed on the search image, the accuracy of position detection varies due to the noise, and the wire or lead on the pad of the IC chip In some cases, the bonding position may vary.

位置検出精度を一定のレベルにまで引き上げ、位置検出精度のばらつきを少なくするためには正規化相関処理の演算処理過程において画像ノイズの消去が必要となる。ノイズ、背景ノイズ等が重畳された画像のノイズ処理として、入力画像のフィルタリング、画像データの周波数領域によるバンドパス処理がある。   In order to raise the position detection accuracy to a certain level and reduce variations in position detection accuracy, it is necessary to eliminate image noise in the calculation process of the normalized correlation process. As noise processing of an image on which noise, background noise, and the like are superimposed, there are filtering of an input image and bandpass processing using a frequency domain of image data.

しかしながら、入力画像のフィルタリングは、実信号に直接フィルタリング処理を行うために行列を使用したラスタ走査が必要であり、多大な処理時間を要する。一方、周波数領域に変換した画像データをバンドパスなどの閥値処理を行うには、図7に示すステップS52におけるサーチ画像f2全体、もしくはステップS56の切り出される画像に対してフーリエ変換などの直交変換を行うことが必要となり処理時間の増大につながる。これにより、処理スピードと位置検出精度のバランスが悪く、効率の良いアルゴリズムを構築することは困難であった。このため、画像に含まれるノイズ除去を処理過程の早い段階で行って、処理スピードを向上させて、また、ノイズ除去を行うことにより、検出精度を向上させることが課題となっている。   However, the filtering of the input image requires raster scanning using a matrix in order to perform the filtering process directly on the real signal, and requires a great amount of processing time. On the other hand, in order to perform threshold processing such as bandpass on the image data converted into the frequency domain, orthogonal transform such as Fourier transform is applied to the entire search image f2 in step S52 shown in FIG. 7 or the image cut out in step S56. Need to be performed, leading to an increase in processing time. As a result, the balance between processing speed and position detection accuracy is poor, and it has been difficult to construct an efficient algorithm. For this reason, it is a problem to improve detection accuracy by removing noise contained in an image at an early stage of the processing process to improve processing speed and removing noise.

そこで本発明は、上記課題に鑑みて成されたものであり、画像の信号ノイズ、背景ノイズの変化による位置検出率の低下を防止し、サブピクセルの精度を得ること、また、ICチップ等の位置検出処理が短時間で行うことが可能な位置検出方法およびその装置を提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and prevents a decrease in position detection rate due to a change in image signal noise and background noise to obtain subpixel accuracy, as well as an IC chip or the like. An object of the present invention is to provide a position detection method and apparatus capable of performing position detection processing in a short time.

本発明による位置検出方法は、基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチングステップと、前記マッチングステップで検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出ステップと、前記切出ステップで切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出ステップと、前記クロススペクトル算出ステップで算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去ステップと、前記周波数除去ステップで除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出ステップと、前期ピーク値検出ステップで検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出ステップとを備えたことを特徴とする。   The position detection method according to the present invention includes a matching step for detecting a position of image data that most closely matches the reference pattern by matching the reference pattern and image data from the imaging means, and a reference centered on the position detected in the matching step. A cutout step of cutting out an area having the same size as a pattern from the image data, a crossspectrum calculation step of calculating a crossspectrum between the image data cut out in the cutout step and a reference pattern, and a calculation in the crossspectrum calculation step The cross spectrum amplitude data is compared with a preset threshold value, a frequency removal step for removing the frequency of the amplitude data below the threshold value, and the cross spectrum excluding the frequency removed in the frequency removal step is subjected to inverse Fourier transform, Inverse Fourier transformed data A peak value detecting step for detecting a position up to the peak value of the data, and a phase shift amount calculating step for calculating a phase shift amount between the image data at the position detected in the previous peak value detecting step and the reference pattern. Features.

また、本発明による位置検出方法の前記マッチングステップは、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする。   The matching step of the position detection method according to the present invention is a normalized correlation process between an image compressed reference pattern and image compressed image data from an imaging means.

また、本発明による位置検出方法の前記位相シフト量算出ステップは、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出ステップで切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする。   The phase shift amount calculating step of the position detection method according to the present invention includes a transfer function between a reference pattern frequency spectrum obtained by Fourier transforming a reference pattern and an image data frequency spectrum obtained by performing Fourier transform on the image data cut out at the cutout step. The phase shift amount is calculated from the phase characteristics of

また、本発明による位置検出装置は、基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチング手段と、前記マッチング手段で検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出手段と、前記切出手段で切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出手段と、前記クロススペクトル算出手段で算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去手段と、前記周波数除去手段で除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出手段と、前期ピーク値検出手段で検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出手段とを備えたことを特徴とする。   In addition, the position detection device according to the present invention has a matching unit that detects the position of image data that most closely matches the reference pattern by matching the reference pattern and image data from the imaging unit, and the position detected by the matching unit. Cutting means for cutting out an area having the same size as the reference pattern from the image data, cross spectrum calculating means for calculating a cross spectrum between the image data cut out by the cutting means and the reference pattern, and the cross spectrum calculating means The amplitude data of the cross spectrum calculated in step 1 is compared with a preset threshold value, a frequency removing unit that removes the frequency of the amplitude data below the threshold value, and an inverse Fourier transform of the cross spectrum excluding the frequency removed by the frequency removing unit. The position to the peak value of the inverse Fourier transformed data A peak value detecting means for output, characterized in that a phase shift amount calculation means for calculating a phase shift amount between the image data and the reference pattern position detected by year peak value detecting means.

また、本発明による位置検出装置の前記マッチング手段は、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする。   The matching means of the position detection apparatus according to the present invention is a normalized correlation process between an image compressed reference pattern and image data from an image compressed image pickup means.

また、本発明による位置検出装置の前記位相シフト量算出手段は、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出手段で切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする。   Further, the phase shift amount calculation means of the position detection apparatus according to the present invention includes a transfer function between a reference pattern frequency spectrum obtained by Fourier transforming a reference pattern and an image data frequency spectrum obtained by Fourier transforming the image data cut out by the cutout means. The phase shift amount is calculated from the phase characteristics of

本発明による位置検出方法およびその装置によれば、圧縮した画像を利用し、正規化相関演算から得られる粗い精度での位置検出を行った後に、画像データと基準パターンとのクロススペクトルデータに対して閾値処理を行い、信号ノイズや背景ノイズを除去して位置検出を行うようにする。これにより、ノイズの影響による位置検出率、位置検出精度の低下を防止することができる。   According to the position detection method and the apparatus according to the present invention, after performing position detection with coarse accuracy obtained from the normalized correlation calculation using the compressed image, the cross spectrum data between the image data and the reference pattern is detected. Threshold processing is performed, and signal noise and background noise are removed to perform position detection. Thereby, it is possible to prevent a decrease in position detection rate and position detection accuracy due to the influence of noise.

また、本発明による位置検出方法およびその装置によれば、周波数伝達関数の位相の直線性を利用することで、有効なデータ点数が確保できるためサブピクセル単位の位置精度精度を得ることができる。   Further, according to the position detection method and apparatus according to the present invention, by utilizing the linearity of the phase of the frequency transfer function, an effective number of data points can be secured, so that the position accuracy accuracy in units of subpixels can be obtained.

また、本発明による位置検出方法およびその装置によれば、正規化相関処理による粗検出後のサーチ画像とティーチ画像とによる両者の相対位置を変えながらの正規化相関処理が不要となるため、位置検出処理を短時間で行うことができる。   Further, according to the position detection method and apparatus according to the present invention, the normalized correlation process is not required while changing the relative positions of the search image and the teach image after the coarse detection by the normalized correlation process. The detection process can be performed in a short time.

以下図面を参照して、本発明による半導体組立装置における位置検出方法およびその装置の実施の形態について説明する。図1は、本発明による位置検出装置を用いたワイヤボンディング装置の構成を示すブロック図、図2は、本発明による位置検出方法を用いた位置検出装置の構成を示すブロック図、図3は、位置検出時に使用する基準パターンの登録手順を示すフローチャート、図4は、ワイヤボンディング装置における本発明による位置検出方法を説明するためのフローチャートである。   Embodiments of a position detecting method and apparatus in a semiconductor assembly apparatus according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a wire bonding apparatus using a position detection device according to the present invention, FIG. 2 is a block diagram showing a configuration of a position detection device using a position detection method according to the present invention, and FIG. FIG. 4 is a flowchart for explaining a position detection method according to the present invention in a wire bonding apparatus.

図1に示すように、ワイヤボンディング装置1は、撮像手段としてのカメラ3と、キャピラリ4aが先端に装着されたボンディングアーム4と、ボンディングアーム4を上下に駆動するボンディングヘッド5と、ボンディングアーム4及びボンディングヘッド5からなるボンディング手段及び撮像手段を搭載してX方向及びY方向に二次元的に移動させて位置決めする位置決め手段としてのXYテーブル6と、ボンディングヘッド5によるボンディング作業が行なわれるボンディングステージ8を有する搬送装置7とを備えており、ボンディングステージ8は、複数のチップが長手方向に並べて貼着された基板、リードフレーム等を加熱するヒータ(図示せず)を有している。   As shown in FIG. 1, a wire bonding apparatus 1 includes a camera 3 as an imaging means, a bonding arm 4 having a capillary 4a attached to the tip, a bonding head 5 that drives the bonding arm 4 up and down, and a bonding arm 4 And an XY table 6 as a positioning means for mounting the bonding means and the imaging means comprising the bonding head 5 and positioning them by two-dimensionally moving them in the X and Y directions, and a bonding stage on which a bonding operation is performed by the bonding head 5 The bonding stage 8 includes a heater (not shown) that heats a substrate, a lead frame, and the like on which a plurality of chips are arranged and adhered in the longitudinal direction.

また、図1に示すように、半導体組立装置としてのワイヤボンディング装置1は、カメラ3からの撮像信号を受けて画像データから被ボンディング部品の定点のずれ量を検出する位置検出手段としての位置検出装置10と、位置検出装置10からの映像出力を受けるモニタ11と、マイクロプロセッサ12a、メモリ12bを有する制御装置12と、XYテーブル6を手動にて移動させるための信号を制御装置12に出力するマニュピュレータ15と、制御装置12からの指令信号に応じてボンディングヘッド5及びXYテーブル6への駆動信号を発する駆動装置13とが設けられている。制御装置12のメモリ12bには、ワイヤボンディング装置1を制御するためのマイクロプロセッサ12a用のプログラム、ボンディング点の位置座標等を記憶した位置座標テーブル等が格納されている。   Further, as shown in FIG. 1, a wire bonding apparatus 1 as a semiconductor assembly apparatus receives position signals as position detection means that receives an image pickup signal from a camera 3 and detects a fixed point deviation amount of a part to be bonded from image data. A signal for moving the XY table 6 manually is output to the control device 12, a monitor 11 that receives video output from the position detection device 10, a control device 12 having a microprocessor 12 a and a memory 12 b. A manipulator 15 and a driving device 13 that issues a driving signal to the bonding head 5 and the XY table 6 in response to a command signal from the control device 12 are provided. The memory 12b of the control device 12 stores a program for the microprocessor 12a for controlling the wire bonding apparatus 1, a position coordinate table that stores position coordinates of bonding points, and the like.

次に、図2を用いて上記構成からなるワイヤボンディング装置1に用いられている位置検出装置10について説明する。図2に示すように、位置検出装置10は、CPU、演算回路、インターフェース回路を内蔵したFPGA(プログラマブルアレー)10aと、基準パターンとしてのティーチ画像等を記憶するデータストア用メモリ10bと、CPUの演算、制御処理でのデータを一時的に記憶するワークメモリ10dと、CPUが実行する画像処理用のプログラムを記憶したプログラムメモリ10cと、カメラ3からの画像データを記憶する画像フレームメモリ10eと、カメラ3に制御信号を出力するカメラ用ドライバ10fと、カメラ3からの信号をデジタルに変換するA/D変換器10gと、液晶モニタ11等に映像信号等を出力するモニタ用ドライバ10hと、外部との通信を行う通信用ドライバ10jと、位置検出装置10をPCIバスに接続するためのPCIブリッジ10kを有している。   Next, the position detection apparatus 10 used for the wire bonding apparatus 1 having the above configuration will be described with reference to FIG. As shown in FIG. 2, the position detection device 10 includes an FPGA (programmable array) 10a including a CPU, an arithmetic circuit, and an interface circuit, a data store memory 10b for storing a teach image as a reference pattern, and the like. A work memory 10d for temporarily storing data in calculation and control processing; a program memory 10c for storing a program for image processing executed by the CPU; an image frame memory 10e for storing image data from the camera 3; A camera driver 10f that outputs a control signal to the camera 3, an A / D converter 10g that converts the signal from the camera 3 into a digital signal, a monitor driver 10h that outputs a video signal to the liquid crystal monitor 11 and the like, and an external The communication driver 10j for communicating with the position detection device 10 and the position detection device 10 are connected to the PCI bus. It has a PCI bridge 10k for.

カメラ3は、位置検出装置10のカメラ用ドライバ10fから出力される同期信号、撮像開始のトリガー信号等の信号により撮像を行って、映像信号を位置検出装置10のA/D変換器10gに出力する。位置検出装置10は、A/D変換器10gによりデジタル変換されたデジタル値を所定の周波数のクロックでサンプリングして、画像フレームメモリ10eに画像データを記憶する。FPGA10aに内蔵したCPUおよび演算回路は、以下に説明する正規化相関処理、フーリエ変換、逆フーリエ変換等の処理を行うものである。また、FPGAに内蔵したCPUおよび演算回路は、演算等を並列に処理することが可能となるように構成されている。   The camera 3 captures an image using a signal such as a synchronization signal output from the camera driver 10f of the position detection device 10 or a trigger signal for starting imaging, and outputs a video signal to the A / D converter 10g of the position detection device 10. To do. The position detection device 10 samples the digital value digitally converted by the A / D converter 10g with a clock having a predetermined frequency, and stores the image data in the image frame memory 10e. The CPU and the arithmetic circuit built in the FPGA 10a perform processing such as normalized correlation processing, Fourier transform, and inverse Fourier transform described below. Further, the CPU and the arithmetic circuit built in the FPGA are configured to be able to process arithmetic operations and the like in parallel.

次に、上記構成から成るワイヤボンディング装置1および位置検出装置10における位置検出処理について、図3および図4に示すフローチャートを用いて説明する。位置検出処理は、位置検出装置10のFPGA10aに内蔵したCPUがプログラムメモリ10cに記憶した処理プログラムを実行することにより行われる。   Next, position detection processing in the wire bonding apparatus 1 and the position detection apparatus 10 having the above-described configuration will be described with reference to the flowcharts shown in FIGS. The position detection process is performed by the CPU built in the FPGA 10a of the position detection apparatus 10 executing a processing program stored in the program memory 10c.

図3に示すように、最初に、位置検出時に使用する基準パターンとしてのティーチ画像の登録を行う。ティーチ画像の登録は、最初に、テーチング時にマニピュレータによりカメラ3をICチップ上に移動して、ICチップの定点が図1に示すモニタ11上のクロスライン11aの交点に位置するようにして、カメラ3の映像信号をA/D変換器10gによりデジタル変換して位置検出装置10の画像フレームメモリ10eに記憶する(ステップS1)。また、制御装置12は、このときのXYテーブル6の位置をメモリ12bの位置座標テーブルに基準座標として記憶する。   As shown in FIG. 3, first, a teach image is registered as a reference pattern used for position detection. To register the teach image, first, the camera 3 is moved onto the IC chip by a manipulator during teaching so that the fixed point of the IC chip is positioned at the intersection of the cross lines 11a on the monitor 11 shown in FIG. 3 is digitally converted by the A / D converter 10g and stored in the image frame memory 10e of the position detecting device 10 (step S1). Further, the control device 12 stores the position of the XY table 6 at this time as a reference coordinate in the position coordinate table of the memory 12b.

次に、CPUは、図1に示すモニタ11上に表示されるウインドウ11b内の画像データを画像フレームメモリ10eから切り出して、切り出した画像データをティーチ画像f1(x、y)として記憶する(ステップS2)。なお、ティーチ画像f1(x、y)は、2次元の画素配列で構成されている。次に、ティーチ画像f1にフーリエ変換処理を行い、周波数スペクトルF1(u,v)を作成してデータストア用メモリ10bに記憶する(ステップS3)。フーリエ変換処理は、離散的フーリエ変換を高速化した高速フーリエ変換(FFT)を用いている。高速フーリエ変換によりティーチ画像f1(x、y)から生成された周波数スペクトルF1(u,v)は、2次元の行列で構成される。なお、(u,v)は、(x、y)方向の各周波数変数を示す。また、ティーチ画像f1(x、y)の画像の圧縮処理を行い、圧縮処理した画像のデータをティーチ画像の圧縮画像fc1(x、y)としてデータストア用メモリ10bに記憶する(ステップS4)。圧縮処理は、画像データの縦および横方向にn画素ごとにサンプリングを行って、サンプリングしたデータから圧縮画像を生成するようにしている。   Next, the CPU cuts out the image data in the window 11b displayed on the monitor 11 shown in FIG. 1 from the image frame memory 10e, and stores the cut-out image data as a teach image f1 (x, y) (step). S2). Note that the teach image f1 (x, y) is composed of a two-dimensional pixel array. Next, a Fourier transform process is performed on the teach image f1, and a frequency spectrum F1 (u, v) is created and stored in the data store memory 10b (step S3). The Fourier transform process uses a fast Fourier transform (FFT) obtained by speeding up discrete Fourier transform. The frequency spectrum F1 (u, v) generated from the teach image f1 (x, y) by the fast Fourier transform is composed of a two-dimensional matrix. Note that (u, v) represents each frequency variable in the (x, y) direction. Further, the image of the teach image f1 (x, y) is compressed, and the data of the compressed image is stored in the data store memory 10b as the compressed image fc1 (x, y) of the teach image (step S4). In the compression process, sampling is performed every n pixels in the vertical and horizontal directions of the image data, and a compressed image is generated from the sampled data.

以上の処理により、基準パターンのティーチ画像f1(x、y)、周波数スペクトルF1(u,v)および圧縮画像fc1(x、y)の各画像データがデータストア用メモリ10bに記憶される。   With the above processing, each image data of the teach image f1 (x, y), frequency spectrum F1 (u, v), and compressed image fc1 (x, y) of the reference pattern is stored in the data store memory 10b.

次に、図4に示すフローチャートを用いて位置検出処理について説明する。最初に、制御装置12は、メモリ12bの位置座標テーブルかた基準座標を読み出して、位置決め手段としてのXYテーブル6に搭載されたカメラ3を基準の位置に移動するようにする。XYテーブル6の移動停止後に、位置検出装置10はカメラ3からのICチップ上の定点付近の画像データを画像フレームメモリ10eに取り込むようにする(以後、この画像データをサーチ画像f2と称する)(ステップS10)、画像フレームメモリ10eに記憶しているサーチ画像f2(x、y)からサーチ圧縮画像fc2(x、y)の生成を行う(ステップS11)。なお、サーチ圧縮画像fc2(x、y)は、ティーチ時と同一の圧縮処理を行って生成されるものである。   Next, position detection processing will be described using the flowchart shown in FIG. First, the control device 12 reads the reference coordinates from the position coordinate table of the memory 12b, and moves the camera 3 mounted on the XY table 6 as the positioning means to the reference position. After the movement of the XY table 6 is stopped, the position detection device 10 captures image data in the vicinity of a fixed point on the IC chip from the camera 3 into the image frame memory 10e (hereinafter, this image data is referred to as a search image f2) ( In step S10), a search compressed image fc2 (x, y) is generated from the search image f2 (x, y) stored in the image frame memory 10e (step S11). Note that the search compressed image fc2 (x, y) is generated by performing the same compression process as in the teaching.

次に、データストア用メモリ10bに記憶されているティーチ画像の圧縮画像fc1(x、y)を読み出して、ティーチ画像の圧縮画像fc1(x、y)とサーチ画像の圧縮画像fc2(x、y)との正規化相関処理を行う(ステップS12)。正規化相関処理によりサーチ画像の圧縮画像fc2(x、y)の全体をラスタ走査を行って、最大相関値fcmax(xc、yc)を検出する(ステップS13)。このとき、圧縮画像の正規化相関処理によって得られる最大相関値fcmax(xc、yc)が、前もって設定した基準値M以上の値であることをチェックして(ステップS14)、基準値M以上の最大相関値を有するサーチ画像f2(xc、yc)を、以後の処理で使用するようにする。なお、基準値Mは、正規化相関処理でのサーチ画像にティーチ画像と類似した画像が含まれているかを判断するためのものである。最大相関値が基準値M未満のときには、サーチ画像にティーチ画像と類似した画像が含まれていないと判断してエラー警報を出力し、以後の処理を行わないようにする。最大相関値fcmax(xc、yc)が基準値M以上の値であるときには、最大相関値fcmax(xc、yc)の位置(xc、yc)を検出位置とする(ステップS15)。なお、サーチ画像f2のXY軸の原点から最大相関値fcmax(xc、yc)の検出位置(xc、yc)を正規化相関処理のずれ量Lcとする。   Next, the compressed image fc1 (x, y) of the teach image stored in the data store memory 10b is read, and the compressed image fc1 (x, y) of the teach image and the compressed image fc2 (x, y) of the search image are read. ) Is performed (step S12). The entire compressed image fc2 (x, y) of the search image is subjected to raster scanning by the normalized correlation process, and the maximum correlation value fcmax (xc, yc) is detected (step S13). At this time, it is checked that the maximum correlation value fcmax (xc, yc) obtained by the normalized correlation processing of the compressed image is a value equal to or larger than the reference value M set in advance (step S14). The search image f2 (xc, yc) having the maximum correlation value is used in the subsequent processing. The reference value M is used to determine whether the search image in the normalized correlation process includes an image similar to the teach image. When the maximum correlation value is less than the reference value M, it is determined that the search image does not include an image similar to the teach image, an error warning is output, and the subsequent processing is not performed. When the maximum correlation value fcmax (xc, yc) is a value greater than or equal to the reference value M, the position (xc, yc) of the maximum correlation value fcmax (xc, yc) is set as the detection position (step S15). Note that the detected position (xc, yc) of the maximum correlation value fcmax (xc, yc) from the origin of the XY axis of the search image f2 is set as the deviation Lc of the normalized correlation process.

次にステップS15で得られた最大相関値fcmax(xc、yc)の位置(xc、yc)を中心として画像フレームメモリ10eのサーチ画像f2(x、y)からティーチ画像f1(x、y)と同一面積の画像f3(x、y)を切り出す(ステップS16)。切り出した画像f3(x、y)にフーリエ変換を行って周波数スペクトルF3(u,v)を生成する(ステップS17)。   Next, from the search image f2 (x, y) in the image frame memory 10e to the teach image f1 (x, y) centered on the position (xc, yc) of the maximum correlation value fcmax (xc, yc) obtained in step S15. An image f3 (x, y) having the same area is cut out (step S16). The extracted image f3 (x, y) is subjected to Fourier transform to generate a frequency spectrum F3 (u, v) (step S17).

次に、前もって周波数領域に変換されたティーチ画像f1(x、y)の周波数スペクトルF1(u,v)と画像f3(x、y)の周波数スペクトルF3(u,v)の二つの画像データに対してクロススペクトルF4(u,v)を求める(ステップS18)。なお、クロススペクトルF4(u,v)は、(1)式で求められる
F4(u,v)=F1*(u,v)・F3(u,v) ・・・ (1)
ただし、F1*(u,v)は、F1(u,v)の共役複素数を示す。また、(u,v)は、(x、y)方向の各周波数変数を示す。
(1)式に示すクロススペクトルF4(u,v)は、複素行列を成し、行列の各要素は、実数部と虚数部からなる。
Next, two image data of the frequency spectrum F1 (u, v) of the teach image f1 (x, y) and the frequency spectrum F3 (u, v) of the image f3 (x, y), which have been transformed into the frequency domain in advance, are obtained. On the other hand, the cross spectrum F4 (u, v) is obtained (step S18). The cross spectrum F4 (u, v) is obtained by the equation (1).
F4 (u, v) = F1 * (u, v) .F3 (u, v) (1)
Here, F1 * (u, v) represents a conjugate complex number of F1 (u, v). Further, (u, v) represents each frequency variable in the (x, y) direction.
The cross spectrum F4 (u, v) shown in the equation (1) forms a complex matrix, and each element of the matrix includes a real part and an imaginary part.

次に、クロススペクトルF4(u,v)の振幅成分の振幅データ|F4(u,v)|を求める(ステップS19)。振幅データ|F4(u,v)|をFPとしたとき、各周波数の振幅データFPに対して閾値処理を行い、閾値TL未満の振幅データFPを持った周波数の実数部、虚数部を共に0にする処理を行って、クロススペクトルF4TL(u,v)を算出する(ステップS20)。すなわち、FP<TLのときには、F4TL(u,v)=0とし、FP≧TLのときには、F4TL(u,v)のデータを保持するようにする。   Next, amplitude data | F4 (u, v) | of the amplitude component of the cross spectrum F4 (u, v) is obtained (step S19). When the amplitude data | F4 (u, v) | is FP, threshold processing is performed on the amplitude data FP of each frequency, and both the real part and imaginary part of the frequency having the amplitude data FP less than the threshold TL are 0. The cross spectrum F4TL (u, v) is calculated (step S20). That is, when FP <TL, F4TL (u, v) = 0, and when FP ≧ TL, data of F4TL (u, v) is held.

閾値処理を施したクロススペクトルF4TL(u,v)に逆フーリエ変換を行って、再び実信号領域x、yの相互相関関数f4(x、y)を算出して(ステップS21)、実信号領域ので相互相関関数f4(x、y)の最大値f4max(xs、ys)の位置データ(xs,ys)を検出する(ステップS22)。なお、ステップS22で得られた最大相関値を持つ位置(xs、ys)は、サンプリング間隔の精度、つまり画素単位の精度となる。 The cross spectrum F4 TL (u, v) subjected to the threshold processing is subjected to inverse Fourier transform, and the cross-correlation function f4 (x, y) of the real signal regions x and y is calculated again (step S21). The position data (xs, ys) of the maximum value f4max (xs, ys) of the cross-correlation function f4 (x, y) in the region is detected (step S22). Note that the position (xs, ys) having the maximum correlation value obtained in step S22 has the accuracy of the sampling interval, that is, the accuracy in units of pixels.

図5(b)は、ステップS20でのクロススペクトルF4(u,v)の閾値処理を行い、閾値処理を施したクロススペクトルF4TL(u,v)に逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフである。また、図5(a)は、ステップS20でのクロススペクトルF4(u,v)の閾値処理を行わずに、クロススペクトルF4(u,v)に逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフである。なお、図5は実信号領域のX軸方向における相互相関関数を示し、横軸は画素から成る画像範囲を示し、縦軸は相互相関値を示す。 FIG. 5B shows a cross-correlation function by performing threshold processing of the cross spectrum F4 (u, v) in step S20 and performing inverse Fourier transform on the cross spectrum F4 TL (u, v) subjected to threshold processing. It is a graph which shows an example of the result of having calculated. In FIG. 5A, the cross-correlation function is calculated by performing inverse Fourier transform on the cross spectrum F4 (u, v) without performing the threshold processing of the cross spectrum F4 (u, v) in step S20. It is a graph which shows an example of the result obtained. FIG. 5 shows the cross-correlation function in the X-axis direction of the real signal region, the horizontal axis shows the image range composed of pixels, and the vertical axis shows the cross-correlation value.

被検出画像には、ノイズやICチップの表面状態の変化による反射光のバラツキ、接着剤のはみ出しによる輝度レベルの変化した画像として表れ、クロススペクトルF4(u,v)は図5(a)に示すように不要な周波数成分が含まれている。このため、閾値処理を行ってノイズ等を含んだ不要な周波数成分を除去するようにしている。   The detected image appears as an image in which the reflected light varies due to noise or changes in the surface state of the IC chip, and the luminance level changes due to the protrusion of the adhesive, and the cross spectrum F4 (u, v) is shown in FIG. As shown, unnecessary frequency components are included. For this reason, threshold processing is performed to remove unnecessary frequency components including noise and the like.

また、ティーチの際にカメラ3の焦点、各照明系を操作することで得られる画像は一般にユーザーが位置検出対象物を判別しやすい状態、つまり輪郭が鮮明になった状態になっている。この画像にスペクトル解析を行うと、振幅データにおいて輪郭情報を含む周波数領域は振幅が大きく、逆に背景ノイズ等の位置検出精度に悪影響を及ぼす周波数領域は振幅が小さいなっている。したがって閾値処理を行うことによりは図5(b)に示すようにノイズが除去され、ノイズが除去されたクロススペクトルに逆フーリエ変換を施すことにより、ピーク検出値の検出を容易に行うことができる。また、このことは最終的に位置精度にも影響し、従来よりも精度良く、かつノイズに強い位置検出が可能となる。   In addition, an image obtained by operating the focus of the camera 3 and each illumination system during teaching is generally in a state where the user can easily determine the position detection target, that is, in a state where the outline is clear. When spectrum analysis is performed on this image, the frequency region including the contour information in the amplitude data has a large amplitude, and conversely, the frequency region that adversely affects the position detection accuracy such as background noise has a small amplitude. Therefore, by performing threshold processing, noise is removed as shown in FIG. 5B, and the peak detection value can be easily detected by performing inverse Fourier transform on the cross spectrum from which noise has been removed. . In addition, this finally affects the position accuracy, and it becomes possible to detect the position with higher accuracy and resistance to noise.

なお、クロススペクトル、逆フーリエ変換後のデータにおけるピーク検出は放物線近似やsinc関数近似がよく用いられるが、生産工程で使用されるワイヤボンディング装置に要求される検出精度や処理時間を満たすことができない。このため、十分な検出精度を得るための有効なデータ点数が確保できて、かつ処理時間が短いアルゴリズムが必要となる。このため、本発明では逆フーリエ変換後のデータから得られる移動量を利用し、これを周波数領域における位相シフト量として、逆フーリエ変換を行う前のデータに対して掛け合わせることで1画素以内の検出を行うようにしている。これにより良好なサブピクセル精度を実現している。   In addition, although the parabolic approximation and the sinc function approximation are often used for the peak detection in the data after the cross spectrum and the inverse Fourier transform, the detection accuracy and processing time required for the wire bonding apparatus used in the production process cannot be satisfied. . Therefore, an algorithm that can secure an effective number of data points for obtaining sufficient detection accuracy and has a short processing time is required. For this reason, in the present invention, the movement amount obtained from the data after the inverse Fourier transform is used, and this is used as the phase shift amount in the frequency domain and multiplied by the data before the inverse Fourier transform to within one pixel. Detection is performed. This achieves good subpixel accuracy.

以下に、位置検出のサブピクセル精度の検出について述べる。ティーチ画像f1(x、
y)に対するサーチ画像f2(x、y)の位置ずれ量をL(xl、yl)と定義する。図4に示すステップS22で検出される位置の精度は、サンプリング間隔精度、つまり画素となる。このときの位置ずれ量をLs(xs,ys)とし、1サンプリング間隔内(1画素未満)の位置ずれ量をLr(xr、yr)としたとき、LはL=Ls+Lrとなる。
Hereinafter, detection of sub-pixel accuracy for position detection will be described. Teach image f1 (x,
The amount of displacement of the search image f2 (x, y) with respect to y) is defined as L (xl, yl). The accuracy of the position detected in step S22 shown in FIG. 4 is the sampling interval accuracy, that is, the pixel. When the positional deviation amount at this time is Ls (xs, ys) and the positional deviation amount within one sampling interval (less than one pixel) is Lr (xr, yr), L is L = Ls + Lr.

なお、Lsは、ステップS22における相互相関関数f4の最大値f4max(xs、ys)までの距離となる。本発明は、さらにLrを求めることで高精度を実現するものである。   Note that Ls is a distance to the maximum value f4max (xs, ys) of the cross-correlation function f4 in step S22. The present invention further achieves high accuracy by obtaining Lr.

図3に示すステップS3のティーチ画像f1をFFTにより周波数領域に変換した周波数スペクトルF1(u,v)と、図4に示すステップS17の切り出した画像f3にフーリエ変換を行った周波数スペクトルF3(u,v)とから伝達関数をG(u,v)を算出する(ステップS23)。伝達関数をG(u,v)とすると、入力F1(u,v)と出力F3(u,v)との関係は、(2)式で表される。   The frequency spectrum F1 (u, v) obtained by transforming the teach image f1 in step S3 shown in FIG. 3 into the frequency domain by FFT, and the frequency spectrum F3 (u) obtained by performing Fourier transform on the image f3 cut out in step S17 shown in FIG. , V) to calculate a transfer function G (u, v) (step S23). When the transfer function is G (u, v), the relationship between the input F1 (u, v) and the output F3 (u, v) is expressed by equation (2).

F3(u,v)=G(u,v)・F1(u,v) ・・・ (2)
(2)式は、ずれ量(移動量)Ls+Lrを含んだものである、(2)式を−Ls移動させることにより画素の小数点以下のずれ量(移動量)Lrのみを含んだ式が得られる。なお、移動量(−Ls)の周波数領域での位相シフト量は、ej(u,v)Lsとなる(ステップS24)。
(2)式を位相シフト量(ej(u,v)Ls)で補正することにより(3)式を得ることができる。
ej(u,v)Ls・F3(u,v)=ej(u,v)Ls・G(u,v)・F1(u,v) ・・・ (3)
(3)式の右辺のej(u,v)Ls・G(u,v)を 伝達関数Q(u,v)とすると、Q(u,v)=ej(u,v)Ls・G(u,v)となる。伝達関数 Q(u,v)の位相特性から周波数u,vに対する位相データを求める(ステップS25)。
F3 (u, v) = G (u, v) · F1 (u, v) (2)
The expression (2) includes the shift amount (movement amount) Ls + Lr. By moving the expression (2) by −Ls, an expression including only the shift amount (movement amount) Lr below the decimal point of the pixel is obtained. It is done. Note that the phase shift amount in the frequency region of the movement amount (-Ls) is ej (u, v) Ls (step S24).
By correcting the equation (2) with the phase shift amount (ej (u, v) Ls), the equation (3) can be obtained.
ej (u, v) Ls.F3 (u, v) = ej (u, v) Ls.G (u, v) .F1 (u, v) (3)
If ej (u, v) Ls · G (u, v) on the right side of equation (3) is the transfer function Q (u, v), then Q (u, v) = ej (u, v) Ls · G ( u, v). Phase data for the frequencies u and v is obtained from the phase characteristics of the transfer function Q (u, v) (step S25).

図6にQxy(u,v)の位相特性を示す。縦軸は位相であり、横軸は周波数uまたはvを示す。伝達関数Q(u,v)が1画素以上の位置ずれの成分を含んでいる場合には、鋸波形を示すが、Q(u,v)はG(u,v)をej(u,v)Lsで補正しているので、図6に示すように直線性を示す。周波数uまたはvに対する位相の直線性を示すデータから最小二乗法により直線の傾きを求め、求めた傾きの値を画素の小数点以下のずれ量Lrとする(ステップS26)。最小二乗法を用いて傾きを求めることにより、良好なサブピクセル精度(1画素未満の精度)の位置ずれ量L(xl、yl)を得ることができる。   FIG. 6 shows the phase characteristics of Qxy (u, v). The vertical axis represents the phase, and the horizontal axis represents the frequency u or v. When the transfer function Q (u, v) includes a component of positional deviation of one pixel or more, a saw waveform is shown, but Q (u, v) represents G (u, v) as ej (u, v). ) Since it is corrected by Ls, linearity is shown as shown in FIG. The slope of the straight line is obtained from the data indicating the linearity of the phase with respect to the frequency u or v by the least square method, and the obtained slope value is set as a shift amount Lr after the decimal point of the pixel (step S26). By obtaining the slope using the least square method, it is possible to obtain a positional deviation amount L (xl, yl) with good subpixel accuracy (accuracy of less than one pixel).

以上により、ICチップ上の定点の検出位置(ずれ量)は、正規化相関処理のずれ量Lc+Ls+Lrとして検出される。   As described above, the detection position (deviation amount) of the fixed point on the IC chip is detected as the deviation amount Lc + Ls + Lr in the normalized correlation process.

以上述べたように、本発明による位置検出方法およびその装置によれば、圧縮した画像を利用し、正規化相関演算から得られる粗い精度での位置検出を行った後に、画像データと基準パターンとのクロススペクトルデータに対して、閾値を設定して、信号ノイズや背景ノイズを除去して位置検出を行うため、ノイズの影響による位置検出率、位置検出精度の低下を防止することができる。   As described above, according to the position detection method and apparatus according to the present invention, after performing position detection with coarse accuracy obtained from the normalized correlation calculation using the compressed image, the image data and the reference pattern Since the threshold is set for the cross spectrum data and the position detection is performed by removing the signal noise and the background noise, it is possible to prevent the position detection rate and the position detection accuracy from being lowered due to the influence of the noise.

また、本発明による位置検出方法およびその装置によれば、周波数伝達関数の位相の直線性を利用することで、有効なデータ点数が確保できるためサブピクセル単位の位置精度精度を得ることができる。   Further, according to the position detection method and apparatus according to the present invention, by utilizing the linearity of the phase of the frequency transfer function, an effective number of data points can be secured, so that the position accuracy accuracy in units of subpixels can be obtained.

また、本発明による位置検出装置は、FPGAに内蔵したCPU、演算回路が、演算等を並列に処理することが可能であるため、位置検出処理を短時間で行うことができる。   In addition, the position detection device according to the present invention can perform the position detection process in a short time because the CPU and the arithmetic circuit built in the FPGA can process the arithmetic operation and the like in parallel.

本発明による位置検出装置を用いたワイヤボンディング装置の構成を示すブロック図である。It is a block diagram which shows the structure of the wire bonding apparatus using the position detection apparatus by this invention. 本発明による位置検出方法を用いた位置検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the position detection apparatus using the position detection method by this invention. 位置検出時に使用する基準パターンの登録手順を示すフローチャートである。It is a flowchart which shows the registration procedure of the reference pattern used at the time of position detection. ワイヤボンディング装置における本発明による位置検出方法を説明するためのフローチャートである。It is a flowchart for demonstrating the position detection method by this invention in a wire bonding apparatus. (a)は、クロススペクトルF4(u,v)の閾値処理を行わずに、クロススペクトルに逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフ、(b)は、クロススペクトルF4(u,v)の閾値処理を行い、閾値処理を施したクロススペクトルに逆フーリエ変換を行って、相互相関関数を算出した結果の一例を示すグラフである。(A) is a graph showing an example of a result of calculating a cross-correlation function by performing inverse Fourier transform on the cross spectrum without performing threshold processing of the cross spectrum F4 (u, v), and (b) is a cross It is a graph which shows an example of the result of having performed the threshold process of spectrum F4 (u, v), performing the inverse Fourier transform to the cross spectrum which performed the threshold process, and calculating the cross correlation function. 伝達関数をQxy(u,v)の位相特性を示す図である。It is a figure which shows the phase characteristic of a transfer function Qxy (u, v). 従来の位置決め検出の演算処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the calculation processing of the conventional positioning detection.

符号の説明Explanation of symbols

1 ワイヤボンディング装置
3 カメラ
4 ボンディングアーム
4a キャピラリ
5 ボンディングヘッド
6 XYテーブル
7 搬送装置
8 ボンディングステージ
10 位置検出装置
10a FPGA
10b データストア用メモリ
10c プログラムメモリ
10d ワークメモリ
10e 画像フレームメモリ
10f カメラ用ドライバ
10g A/D変換器
10h モニタ用ドライバ
10j 通信用ドライバ
10k PCIブリッジ
11 モニタ
11a クロスライン
11b ウインド
12 制御装置
12a マイクロプロセッサ
12b メモリ
13 駆動装置
15 マニュピュレータ
DESCRIPTION OF SYMBOLS 1 Wire bonding apparatus 3 Camera 4 Bonding arm 4a Capillary 5 Bonding head 6 XY table 7 Conveyance apparatus 8 Bonding stage 10 Position detection apparatus 10a FPGA
10b Data store memory 10c Program memory 10d Work memory 10e Image frame memory 10f Camera driver 10g A / D converter 10h Monitor driver 10j Communication driver 10k PCI bridge 11 Monitor 11a Cross line 11b Window 12 Controller 12a Microprocessor 12b Memory 13 Drive device 15 Manipulator

Claims (6)

基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチングステップと、前記マッチングステップで検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出ステップと、前記切出ステップで切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出ステップと、前記クロススペクトル算出ステップで算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去ステップと、前記周波数除去ステップで除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出ステップと、前期ピーク値検出ステップで検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出ステップとを備えたことを特徴とする位置検出方法。   A matching step for detecting the position of the image data that most closely matches the reference pattern by matching the reference pattern with the image data from the imaging means, and an area of the same size as the reference pattern with the position detected in the matching step as a center. Cutting out from the image data, a cross spectrum calculating step for calculating a cross spectrum between the image data cut out in the cutting step and a reference pattern, and amplitude data of the cross spectrum calculated in the cross spectrum calculating step in advance Compared with the set threshold value, the frequency removal step for removing the frequency of the amplitude data below the threshold value, and the peak value of the data obtained by performing the inverse Fourier transform on the cross spectrum excluding the frequency removed in the frequency removal step and performing the inverse Fourier transform Up to Position detecting method, wherein a peak value detecting step, further comprising a phase shift amount calculation step of calculating a phase shift amount between the image data and the reference pattern position detected by year peak value detecting step of. 前記マッチングステップは、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする請求項1記載の位置検出方法。   2. The position detection method according to claim 1, wherein the matching step is a normalized correlation process between the image-compressed reference pattern and the image data from the image-compressed image pickup means. 前記位相シフト量算出ステップは、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出ステップで切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする請求項1記載の位置検出方法。   In the phase shift amount calculating step, the phase shift amount is calculated from the phase characteristic of the transfer function between the reference pattern frequency spectrum obtained by Fourier transforming the reference pattern and the image data frequency spectrum obtained by Fourier transforming the image data cut out in the extraction step. The position detection method according to claim 1, wherein: 基準パターンと撮像手段からの画像データとのマッチングにより基準パターンと最もマッチする画像データの位置を検出するマッチング手段と、前記マッチング手段で検出した位置を中心として、基準パターンと同一のサイズのエリアを前記画像データから切り出す切出手段と、前記切出手段で切り出した画像データと基準パターンとのクロススペクトルを算出するクロススペクトル算出手段と、前記クロススペクトル算出手段で算出したクロススペクトルの振幅データを予め設定した閾値と比較し、閾値以下の振幅データの周波数を除去する周波数除去手段と、前記周波数除去手段で除去した周波数を除いたクロススペクトルを逆フーリエ変換して、逆フーリエ変換したデータのピーク値までの位置を検出するピーク値検出手段と、前期ピーク値検出手段で検出した位置の画像データと基準パターンとの位相シフト量を算出する位相シフト量算出手段とを備えたことを特徴とする位置検出装置。   Matching means for detecting the position of image data that most closely matches the reference pattern by matching the reference pattern with image data from the imaging means, and an area of the same size as the reference pattern with the position detected by the matching means as the center Cutting means for cutting out from the image data, cross spectrum calculating means for calculating a cross spectrum between the image data cut out by the cutting means and a reference pattern, and amplitude data of the cross spectrum calculated by the cross spectrum calculating means in advance Compared with the set threshold value, the frequency removal means for removing the frequency of the amplitude data below the threshold value, and the peak value of the data obtained by performing the inverse Fourier transform on the cross spectrum excluding the frequency removed by the frequency removal means and performing the inverse Fourier transform Peak value detection means to detect the position up to Position detecting device characterized by comprising a phase shift amount calculation means for calculating a phase shift amount between the image data and the reference pattern of position detected by the click value detecting means. 前記マッチング手段は、画像圧縮した基準パターンと画像圧縮した撮像手段からの画像データとの正規化相関処理であることを特徴とする請求項4記載の位置検出装置。   5. The position detecting apparatus according to claim 4, wherein the matching means is a normalized correlation process between the image compressed reference pattern and the image data from the image compressed image pickup means. 前記位相シフト量算出手段は、基準パターンをフーリエ変換した基準パターン周波数スペクトルと、前記切出手段で切り出した画像データをフーリエ変換した画像データ周波数スペクトルとの伝達関数の位相特性から位相シフト量を算出することを特徴とする請求項4記載の位置検出装置。   The phase shift amount calculation means calculates the phase shift amount from the phase characteristic of the transfer function between the reference pattern frequency spectrum obtained by Fourier transforming the reference pattern and the image data frequency spectrum obtained by Fourier transform of the image data cut out by the extraction means. The position detecting device according to claim 4, wherein
JP2004134476A 2004-04-28 2004-04-28 Method and apparatus for detecting position Pending JP2005316758A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004134476A JP2005316758A (en) 2004-04-28 2004-04-28 Method and apparatus for detecting position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004134476A JP2005316758A (en) 2004-04-28 2004-04-28 Method and apparatus for detecting position

Publications (1)

Publication Number Publication Date
JP2005316758A true JP2005316758A (en) 2005-11-10

Family

ID=35444113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004134476A Pending JP2005316758A (en) 2004-04-28 2004-04-28 Method and apparatus for detecting position

Country Status (1)

Country Link
JP (1) JP2005316758A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457721B2 (en) * 2004-04-22 2008-11-25 The University Of Electro-Communications Method and apparatus for measuring small displacement
WO2019207642A1 (en) * 2018-04-24 2019-10-31 日本電気株式会社 Image comparison device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457721B2 (en) * 2004-04-22 2008-11-25 The University Of Electro-Communications Method and apparatus for measuring small displacement
WO2019207642A1 (en) * 2018-04-24 2019-10-31 日本電気株式会社 Image comparison device
JPWO2019207642A1 (en) * 2018-04-24 2021-03-18 日本電気株式会社 Image collation device
JP6992880B2 (en) 2018-04-24 2022-02-03 日本電気株式会社 Image collation device
US11748442B2 (en) 2018-04-24 2023-09-05 Nec Corporation Image matching device

Similar Documents

Publication Publication Date Title
JP3951984B2 (en) Image projection method and image projection apparatus
JP5923824B2 (en) Image processing device
CN110163912B (en) Two-dimensional code pose calibration method, device and system
JP2009064409A (en) System and method for tracking input device using display screen in captured frames of image data
JP2003030653A (en) Image processing method, image processor and bonding device
JPWO2006082639A1 (en) Mark image processing method, program, and apparatus
JP5939775B2 (en) Image processing apparatus, image processing program, robot apparatus, and image processing method
JP5449980B2 (en) Motion compensation apparatus and method
JP4041042B2 (en) Defect confirmation device and defect confirmation method
JP2005316758A (en) Method and apparatus for detecting position
JP4041060B2 (en) Image processing apparatus and image processing method
JP2009074825A (en) Defect inspection method and defect inspection device
JP4635651B2 (en) Pattern recognition apparatus and pattern recognition method
JP3632461B2 (en) Image recognition method
JPH08114426A (en) Method and device for inspecting bending of wire
WO2014084056A1 (en) Testing device, testing method, testing program, and recording medium
JP5005482B2 (en) Pattern search method and apparatus
JP4860452B2 (en) Mark positioning method and apparatus using template matching
JPH0737893B2 (en) Pattern matching method
JP3093450B2 (en) Semiconductor chip recognition device
JP7396741B2 (en) Mounting equipment, mounting method and mounting control program
JP3858633B2 (en) Bonding state inspection method
JPH06277864A (en) Laser beam machining device
JP2008181261A (en) Method and device for extracting contour line of object
JP2008045887A (en) Inspection device