JP2000315896A - Surface mounting part-fitting machine - Google Patents

Surface mounting part-fitting machine

Info

Publication number
JP2000315896A
JP2000315896A JP11161475A JP16147599A JP2000315896A JP 2000315896 A JP2000315896 A JP 2000315896A JP 11161475 A JP11161475 A JP 11161475A JP 16147599 A JP16147599 A JP 16147599A JP 2000315896 A JP2000315896 A JP 2000315896A
Authority
JP
Japan
Prior art keywords
component
data
electronic component
bump
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11161475A
Other languages
Japanese (ja)
Other versions
JP4119039B2 (en
Inventor
Shinichi Okazaki
真一 岡嵜
Yukio Takahashi
幸生 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tenryu Technics Co Ltd
Original Assignee
Tenryu Technics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tenryu Technics Co Ltd filed Critical Tenryu Technics Co Ltd
Priority to JP16147599A priority Critical patent/JP4119039B2/en
Priority to KR1020000004166A priority patent/KR20000076544A/en
Publication of JP2000315896A publication Critical patent/JP2000315896A/en
Application granted granted Critical
Publication of JP4119039B2 publication Critical patent/JP4119039B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0817Monitoring of soldering processes

Abstract

PROBLEM TO BE SOLVED: To eliminate the need for manually creating and inputting part data by automatically calculating the part data for judging whether the quality of packaged electronic parts is conforming or not and detecting the attitude for creation, and then storing the created part data. SOLUTION: By storing the part data of all kinds of electronic parts being carried by the carrying device of packaged electronic parts in a memory in advance, it is judged what type of electronic parts (b) are being retained by a fitting head 2a, when the electronic parts (b) are carried from a part supply part 1 to a part-fitting part 3 by the fitting head 2a for fitting to a printed- circuit board 4. Further, it is judged whether the quality of the part shape is conforming or not, the attitude is detected, and the detected part data is automatically calculated for retention. Based on the calculated part data, the amount of deviation for the fitting head 2a is corrected, thus fitting the electronic part (b) to a given position.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、電極部の構造がはんだ
バンプ若しくはスプリング端子により構成されるパッケ
ージ型電子部品をプリント基板上の所定位置へ装着する
表面実装部品装着機に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a surface mount component mounting machine for mounting a package type electronic component having a structure of an electrode portion formed by solder bumps or spring terminals at a predetermined position on a printed circuit board.

【0002】[0002]

【従来の技術】従来、CSP(チップ・サイズ・パッケ
ージ)やBGA(ボール・グリッド・アレイ)等のはん
だバンプ部にボール形状を持つ電子部品若しくはその他
の形状のはんだバンプを持つ電子部品の画像を撮像し、
その画像データを演算し位置計測及び形状検査をして、
電子部品の中心位置を算出したり部品形状の良否判定を
行うに際して、前記電子部品をプリント基板上の所定位
置へ装着する表面実装部品装着機では、画像処理装置に
予め「ボールピッチ」、「ボールサイズ」、「ボール
数」、「ボール配置情報」などの部品形状データを与え
ておく必要があった。
2. Description of the Related Art Conventionally, an image of an electronic component having a ball shape on a solder bump portion, such as a CSP (chip size package) or a BGA (ball grid array), or an electronic component having a solder bump of another shape has been obtained. Image,
Calculate the image data, measure the position and inspect the shape,
When calculating the center position of an electronic component or determining the quality of a component shape, a surface mounting component mounting machine that mounts the electronic component at a predetermined position on a printed circuit board uses a “ball pitch”, “ball” It was necessary to provide component shape data such as "size", "number of balls", and "ball arrangement information".

【0003】また、近年、はんだバンプ部にボール形状
を持つ電子部品はボールバンプ形状の小型化が進み、従
来と比べ、ボール径はψ0.8mm程度であったものが
φ0.25mm程度若しくはそれ以下になり、ボールピ
ッチは1.0mm程度であったものが、0.5mm程度
若しくはそれ以下になり、ボール配列はある程度規則性
を持っていたものが、不規則な配置になってきている。
In recent years, electronic components having a ball shape in a solder bump portion have been reduced in size to a ball bump shape. A ball diameter of about 0.8 mm has been reduced to about φ0.25 mm or less as compared with the related art. The ball pitch was about 1.0 mm, but became about 0.5 mm or less. The ball arrangement, which had some regularity, became irregularly arranged.

【0004】このため、オペレータが実際の電子部品を
ノギスやメジャーで計測して「ボールピッチ」、「ボー
ルサイズ」、「ボール数」、「ボール配置情報」などの
部品形状データを作成したり、オペレータが電子部品の
カタログ等を参照して部品形状データを作成したりして
いるので、部品形状データを正確に計測できなかった
り、データ入力に非常に時間がかかり、オペレータ(操
作者)の負担が大きくて作業性が悪いのが現状である。
For this reason, an operator measures actual electronic components with calipers or a measure to create component shape data such as “ball pitch”, “ball size”, “number of balls”, and “ball arrangement information”. Since the operator creates component shape data by referring to a catalog of electronic components, etc., it is not possible to measure the component shape data accurately, it takes a very long time to input data, and the burden on the operator (operator) is increased. Is large and workability is poor.

【0005】[0005]

【発明が解決しようとする課題】前記問題点を解決させ
るため、本発明では、電極部の構造がはんだバンプ若し
くはスプリング端子により構成されるパッケージ型電子
部品を撮像するカメラを用いて撮影された画像情報か
ら、その電子部品の形状寸法等の部品データ(「バンプ
ピッチ」「バンプサイズ」「バンプ数」「バンプ配置情
報」等のデータ)を自動的に演算して作成することによ
り、部品データをオペレータが手作業で作成・入力する
ことを不要とするものである。
SUMMARY OF THE INVENTION In order to solve the above problems, according to the present invention, there is provided an image photographed by using a camera for photographing a packaged electronic component in which an electrode portion is constituted by solder bumps or spring terminals. By automatically calculating and creating component data (data such as “bump pitch”, “bump size”, “bump number”, “bump arrangement information”) such as the shape and dimensions of the electronic component from the information, This eliminates the need for the operator to manually create and input.

【0006】また、本発明では、電極部の構造がはんだ
バンプ若しくはスプリング端子により構成されるパッケ
ージ型電子部品を搬送してプリント基板上の所定位置に
装着する際に、搬送手段に把持された状態の前記電子部
品の形状寸法等の画像データを自動的に取り込むととも
に、前記電子部品の形状良否判定と、搬送手段に対する
前記電子部品の姿勢を自動的に検出することを目的とし
ている。
Further, according to the present invention, when a package-type electronic component having a structure of an electrode portion formed by a solder bump or a spring terminal is transported and mounted at a predetermined position on a printed circuit board, the electronic component is held by a transport means. It is another object of the present invention to automatically fetch image data such as the shape and dimensions of the electronic component, determine the shape of the electronic component, and automatically detect the attitude of the electronic component with respect to a transport unit.

【0007】[0007]

【課題を解決するための手段】前記した目的を達成する
ための本発明の手段は、電極部の構造がはんだバンプ若
しくはスプリング端子により構成されるパッケージ型電
子部品をプリント基板上の所定位置へ装着する表面実装
部品装着機にあって、前記パッケージ型電子部品の画像
を撮影する撮影手段と、該撮影手段により撮影された前
記パッケージ型電子部品の全体の1フレーム分の画像情
報を記憶する全体画像情報記憶手段と、前記1フレーム
分の画像情報の中から特定の領域の画像情報を読み出し
て、前記電子部品のはんだバンプ部のバンプピッチ、バ
ンプサイズ、バンプ数およびバンプ配置情報などの、前
記パッケージ型電子部品の品質良否判定と姿勢を検出す
るための部品データを自動的に演算して作成する部品デ
ータ演算手段と、該部品データ演算手段により作成され
た部品データを保存する部品データ記憶手段とを有する
ことを特徴とする表面実装部品装着機にある。
According to the present invention, there is provided a package type electronic component having a structure in which an electrode portion is formed of a solder bump or a spring terminal, at a predetermined position on a printed circuit board. Image capturing means for capturing an image of the package type electronic component, and an entire image storing image information for one frame of the entire package type electronic component captured by the image capturing means. An information storage unit that reads out image information of a specific area from the image information of one frame, and reads the package information such as bump pitch, bump size, number of bumps, and bump arrangement information of a solder bump portion of the electronic component. Component data calculating means for automatically calculating and creating component data for determining the quality of the electronic component and detecting the orientation of the component; The surface mount component placement machine, characterized in that it comprises a component data storage means for storing component data generated by the component data calculation means.

【0008】また、電極部の構造がはんだバンプ若しく
はスプリング端子により構成されるパッケージ型電子部
品をプリント基板上の所定位置へ装着する表面実装部品
装着機にあって、前記パッケージ型電子部品の画像を撮
影する撮影手段と、該撮影手段により撮影された前記パ
ッケージ型電子部品の全体の1フレーム分の画像情報を
記憶する全体画像情報記憶手段と、前記1フレーム分の
画像情報の中から特定の領域の画像情報を読み出して、
前記電子部品のはんだバンプ部のバンプピッチ、バンプ
サイズ、バンプ数およびバンプ配置情報などの、前記パ
ッケージ型電子部品の品質良否判定と姿勢を検出するた
めの部品データを自動的に演算して作成する部品データ
演算手段と、該部品データ演算手段により作成された部
品データを保存する部品データ記憶手段と、部品供給部
の電子部品を組み付けたステージに保持されたプリント
基板上の所定位置へ搬送する搬送手段と、前記部品デー
タに基づいて前記電子部品が前記搬送手段に保持された
状態における前記電子部品の基準位置と前記搬送手段の
基準位置とのずれ量を算出するずれ量算出手段と、前記
ずれ量に基づいて、前記電子部品を前記プリント基板上
の所定位置に対して装着する際における補正値を算出す
る補正値算出手段とを有することを特徴とする表面実装
部品装着機にある。
Further, in a surface mount component mounting machine for mounting a package type electronic component having a structure of an electrode portion composed of solder bumps or spring terminals at a predetermined position on a printed circuit board, an image of the package type electronic component is displayed. Photographing means for photographing, whole image information storing means for storing image information for one frame of the entire packaged electronic component photographed by the photographing means, and a specific area from the image information for one frame Read out the image information of
Automatically calculate and create component data such as bump pitch, bump size, number of bumps and bump arrangement information of the solder bump portion of the electronic component, for determining the quality of the package type electronic component and detecting the attitude. Component data calculation means, component data storage means for storing the component data created by the component data calculation means, and conveyance to a predetermined position on a printed circuit board held on a stage on which the electronic components of the component supply unit are assembled Means for calculating a shift amount between a reference position of the electronic component and a reference position of the transfer means in a state where the electronic component is held by the transfer means based on the component data; Correction value calculating means for calculating a correction value for mounting the electronic component at a predetermined position on the printed circuit board based on the amount The surface mount component placement machine, characterized in that it comprises a.

【0009】さらに、多値化画像データを、あるしきい
値で2値化処理して、2値化画像データを作成し、該2
値化画像データをラベリング処理して明るい領域の塊を
検出し、それぞれの塊にラベルをつける画像情報を記憶
する全体画像情報記憶手段を具備することを特徴とする
前記表面実装部品装着機にある。
Further, the multi-valued image data is binarized at a certain threshold to generate binarized image data.
The surface mount component mounting machine is characterized in that the surface mount component mounting machine further comprises a whole image information storage unit that detects a block of a bright area by performing labeling processing on the valued image data and stores image information for labeling each block. .

【0010】[0010]

【作用】前記構成を有する電子部品の部品データ記録装
置にあって、撮影手段により撮影された電子部品の1フ
レーム分の画像情報が記憶手段に記憶され、その記憶さ
れた画像情報から電子部品の形状寸法等の、前記電子部
品の姿勢を検出するための部品データ(「バンプピッ
チ」、「バンプサイズ」、「バンプ数」、「バンプ配置
情報」等)が自動的に演算して作成される。したがっ
て、作業者が手作業で部品データを入力する必要がな
く、部品データの作成作業の効率アップを大幅に図るこ
とができる。
In the component data recording apparatus for electronic parts having the above-mentioned structure, one frame of image information of the electronic component photographed by the photographing means is stored in the storage means, and the electronic part information is stored from the stored image information. Component data (“bump pitch”, “bump size”, “bump number”, “bump arrangement information”, etc.) for detecting the attitude of the electronic component, such as the shape and dimensions, are automatically calculated and created. . Therefore, there is no need for the operator to manually input the component data, and the efficiency of the component data creation operation can be greatly increased.

【0011】また、前記構成を有する電子部品の搬送組
み付け装置にあっては、メモリに記録された部品データ
と、実際に搬送される過程の電子部品の画像データとを
比べることにより、「どのような種類の電子部品が搬送
されているかどうか」「その電子部品の良否判定はどう
か」および「搬送手段に対して所定の位置に保持された
状態となっているかどうか」を自動的に検出することが
でき、検出されたずれ量に基づいて電子部品を装着すべ
きプリント基板に対して正確に位置決めすることができ
る。
Further, in the electronic component conveying and assembling apparatus having the above-described configuration, by comparing the component data recorded in the memory with the image data of the electronic component in the process of being actually conveyed, the Automatic detection of whether electronic components of any kind are being conveyed, "whether or not the electronic components are good or bad" and "whether or not they are held in a predetermined position with respect to the conveyance means" The electronic component can be accurately positioned with respect to the printed circuit board on which the electronic component is to be mounted based on the detected shift amount.

【0012】[0012]

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0013】図1は電子部品bが載置された部品供給部
1から搬送装置2により部品装着部3に搬送される部品
搬送工程を示す概略図である。この電子部品bはICチ
ップを樹脂ないしセラミック等のパッケージに封入して
形成されており、例えば、図4に示すように、四角形の
本体部Caとこの下面から突出した多数のはんだバンプ
部Cbとを有し、この電子部品bは部品装着部3に保持
されたプリント基板4に搬送装置2によって組み付けら
れるようになっている。
FIG. 1 is a schematic view showing a component transporting process in which an electronic component b is transported from a component supply unit 1 to a component mounting unit 3 by a transport unit 2. The electronic component b is formed by encapsulating an IC chip in a package of resin or ceramic. For example, as shown in FIG. 4, a square main body Ca and a large number of solder bumps Cb projecting from the lower surface thereof are formed. The electronic component b is mounted on the printed circuit board 4 held by the component mounting section 3 by the transport device 2.

【0014】搬送装置2は装着ヘッド2aを有してお
り、該装着ヘッド2aの下端面に真空吸引用の開口が形
成された吸着ノズル5が設けられており、該吸着ノズル
5は、図1に示すように、電子部品bを下端面に吸着保
持する。
The transfer device 2 has a mounting head 2a, and a suction nozzle 5 having an opening for vacuum suction is provided at the lower end surface of the mounting head 2a. As shown in (1), the electronic component b is suction-held on the lower end surface.

【0015】搬送装置2は部品供給部1と部品装着部3
との間を水平方向に移動するX軸方向と、これと直角な
水平方向のY軸方向とに移動し、装着ヘッド2aは上下
方向つまりZ軸方向に移動するとともに、吸着ノズル5
を回転させる方向つまりθ方向に移動する。したがっ
て、電子部品bは図1において、移動軌跡6で示すよう
に移動されて、プリント基板4に組み付けられる。
The transport device 2 includes a component supply unit 1 and a component mounting unit 3
And the mounting head 2a moves in the vertical direction, that is, the Z-axis direction, and moves in the vertical direction, that is, the Z-axis direction.
Move in the direction in which is rotated, that is, in the θ direction. Therefore, the electronic component b is moved as shown by the movement locus 6 in FIG.

【0016】部品供給部1と部品装着部3の間には、電
子部品bを撮影するカメラ7が装着ヘッド2aに対向し
て配置されている。このカメラ7は、図2,図3に示す
ように、装着ヘッド2aとともに搬送装置2によってX
−Y移動し且つ装着ヘッド2aに対して該カメラ7と照
明灯8と光像入射手段9とで構成される検出手段10と
して走行しながら若しくは停止して前記装着ヘッド2a
に取り付けられた吸着ノズル5に吸着保持された電子部
品bを撮影するものである。
A camera 7 for photographing the electronic component b is disposed between the component supply section 1 and the component mounting section 3 so as to face the mounting head 2a. As shown in FIGS. 2 and 3, the camera 7 is moved by the transport device 2 together with the mounting head 2a.
The mounting head 2a moving or stopping with respect to the mounting head 2a while traveling or stopping with respect to the mounting head 2a as detecting means 10 including the camera 7, the illuminating lamp 8 and the light image incident means 9;
This is for photographing the electronic component b sucked and held by the suction nozzle 5 attached to the camera.

【0017】図5は部品搬送装置の制御回路を示すブロ
ック図であり、カメラ7からの画像情報は画像処理装置
11内の画像処理用CPU12により信号処理されて1
フレーム分の二次元画像データが画像メモリ13に記憶
される。この画像処理用CPU12はメインCPU14
に接続され、さらに画像処理用のCRT15に接続され
ている。
FIG. 5 is a block diagram showing a control circuit of the component conveying apparatus. Image information from the camera 7 is processed by an image processing CPU 12 in an image processing apparatus 11 to perform signal processing.
Two-dimensional image data for a frame is stored in the image memory 13. This image processing CPU 12 is a main CPU 14.
, And further connected to a CRT 15 for image processing.

【0018】装着ヘッド2aを前述のようにZ軸方向お
よびθ軸方向に駆動するための装着ヘッド駆動部には、
モータドライバー17を介してメインCPU14から制
御信号が送られ、搬送装置2を前述のようにXおよびY
軸方向に駆動するための搬送装置駆動部18には、モー
タドライバー19を介してメインCPU14から制御信
号が送られるようになっている。
The mounting head drive unit for driving the mounting head 2a in the Z-axis direction and the θ-axis direction as described above includes:
A control signal is sent from the main CPU 14 via the motor driver 17, and the X and Y
A control signal is sent from the main CPU 14 via a motor driver 19 to a transport device drive unit 18 for driving in the axial direction.

【0019】プリント基板4に装着される電子部品bの
部品データは、図1に示すカメラ7によって撮影した1
フレーム分の画像情報を、まず画像メモリ13に記憶
し、その画像情報を処理することにより得られる。例え
ば、図4に示す電子部品bの場合には、符号A〜Fで示
された寸法等が読み取られるべき部品データとなる。
The component data of the electronic component b mounted on the printed circuit board 4 is obtained by photographing with a camera 7 shown in FIG.
The image information for a frame is obtained by first storing the image information in the image memory 13 and processing the image information. For example, in the case of the electronic component b shown in FIG. 4, dimensions and the like indicated by reference numerals A to F are the component data to be read.

【0020】図6は部品データを保存する手順を示すフ
ローチャートであり、まず、ステップS1では、CSP
やBGA等のはんだバンプ部にボール形状を持つ電子部
品の画像情報を撮像した画像データは1画素ごとに25
6階調の明るさを表す数値で記憶されているので、その
256階調で記憶されている多値化画像データをあるし
きい値で2値化処理して2値化画像データを作成する。
FIG. 6 is a flowchart showing a procedure for saving component data. First, in step S1, the CSP
Image data obtained by capturing image information of electronic parts having a ball shape on solder bumps, such as solder and BGA, is 25 pixels per pixel.
Since it is stored as a numerical value representing the brightness of six gradations, the multi-valued image data stored at 256 gradations is binarized by a certain threshold value to create binarized image data. .

【0021】次にステップS2では、図7(a)に示し
たように、ステップS1で求めた2値化画像データをラ
ベリング処理して明るい領域の塊を検出し、それぞれの
塊にラベルをつける。
Next, in step S2, as shown in FIG. 7 (a), the binarized image data obtained in step S1 is subjected to labeling processing to detect clusters in a bright area and label each cluster. .

【0022】ステップS3では、図7(b)に示したよ
うに、検出した塊の縦横サイズをチェックしてボール形
状以外の塊を画像データから除外する。
In step S3, as shown in FIG. 7B, the vertical and horizontal sizes of the detected block are checked, and blocks other than the ball shape are excluded from the image data.

【0023】ステップS4では、図7(c)に示したよ
うに、それぞれのラベル付けされた塊の中心位置をボー
ル中心位置座標とする。
In step S4, as shown in FIG. 7C, the center position of each labeled block is set as the ball center position coordinates.

【0024】ステップS5では、図7(d)に示したよ
うに、全ての塊の縦横サイズの平均を「ボールサイズ」
と決定する。
In step S5, as shown in FIG. 7D, the average of the vertical and horizontal sizes of all the blocks is calculated as "ball size".
Is determined.

【0025】ステップS6では、図7(e)に示したよ
うに、前記多値化画像データを縦方向と横方向にプロジ
ェクション処理して、縦方向と横方向のプロジェクショ
ンデータを作成する。
In step S6, as shown in FIG. 7 (e), the multi-valued image data is subjected to projection processing in the vertical and horizontal directions to create projection data in the vertical and horizontal directions.

【0026】ステップS7では、図7(e)に示したよ
うに、縦方向のプロジェクションデータで0以外のデー
タが連続しているところをボールと判定して、おおまか
な横方向ボールピッチと縦方向ボール位置を決定する。
In step S7, as shown in FIG. 7 (e), a place where data other than 0 is continuous in the vertical projection data is determined as a ball, and the approximate horizontal ball pitch and the vertical Determine the ball position.

【0027】ステップS8では、図7(e)に示したよ
うに、横方向のプロジェクションデータで0以外のデー
タが連続しているところをボールと判定して、おおまか
な縦方向ボールピッチと横方向ボール位置を決定する。
In step S8, as shown in FIG. 7 (e), a portion where data other than 0 is continuous in the horizontal projection data is determined to be a ball, and the approximate vertical ball pitch and the horizontal Determine the ball position.

【0028】ステップS9では、図7(f)に示したよ
うに、おおまかな横方向ボールピッチとおおまかな縦方
向ボールピッチと縦方向ボール位置と横方向ボール位置
から領域決定マトリックス線位置を決定し、それぞれの
マトリックス線によって仕切られた全ての領域内にボー
ル中心位置が存在しているかどうか調べ、「ボール配置
データ」に記憶する。
In step S9, as shown in FIG. 7 (f), an area determination matrix line position is determined from the approximate horizontal ball pitch, the approximate vertical ball pitch, the vertical ball position, and the horizontal ball position. It is checked whether or not the ball center position exists in all the areas partitioned by the respective matrix lines, and the result is stored in the “ball arrangement data”.

【0029】ステップS10では、「ボール配置デー
タ」と「ボール中心位置座標」から「横方向ボールピッ
チ」と「縦方向ボールピッチ」を計算して決定する。
In step S10, the "horizontal ball pitch" and the "vertical ball pitch" are calculated and determined from "ball arrangement data" and "ball center position coordinates".

【0030】ステップS11では、「ボール配置デー
タ」から「横方向ボール数」と「縦方向ボール数」を決
定する。
In step S11, "the number of horizontal balls" and "the number of vertical balls" are determined from the "ball arrangement data".

【0031】このようにして求められた部品データは、
ステップS12で格納し得るデータに処理され、さらに
ステップS13においては、部品データとして正しいか
否かが判断される。
The part data obtained in this way is
Processing is performed on the data that can be stored in step S12, and in step S13, it is determined whether the data is correct as part data.

【0032】部品データが正確でない場合には、ステッ
プS14でCRT15にエラー表示がなされ、正確な部
品であると判断された場合には、ステップS15におい
て、部品データがCRT15に表示されるとともに、画
像メモリ13に保存される。部品データの保存は、画像
メモリ13に保存することなく、フロッピーディスク等
の記憶媒体に保存するようにしても良い。
If the component data is not accurate, an error is displayed on the CRT 15 in step S14, and if it is determined that the component is correct, the component data is displayed on the CRT 15 in step S15 and the image is displayed. It is stored in the memory 13. The component data may be saved in a storage medium such as a floppy disk without being saved in the image memory 13.

【0033】図8は、パッケージ型電子部品の品質良否
判定と姿勢を検出するための部品データを自動的に演算
して作成する際の画像処理アルゴリズムを示すものであ
る。
FIG. 8 shows an image processing algorithm for automatically calculating and creating component data for determining the quality of a package type electronic component and for detecting the attitude.

【0034】図1で示す電子部品の搬送装置を用いて搬
送されることになる全ての種類の電子部品の部品データ
を、上述した手順により予めメモリに格納しておき、装
着ヘッド2aにより部品供給部1から部品装着部3に電
子部品bを搬送してプリント基板4に装着する際には、
どのような種類の電子部品bが装着ヘッド2aに保持さ
れているかが判断され、その部品形状の良否判定がなさ
れる。さらに、装着ヘッド2aに対するずれ量が補正さ
れて、所定の位置に電子部品bが装着されることにな
る。
The component data of all types of electronic components to be transported using the electronic component transport device shown in FIG. 1 is stored in the memory in advance by the above-described procedure, and the component is supplied by the mounting head 2a. When the electronic component b is transported from the unit 1 to the component mounting unit 3 and mounted on the printed circuit board 4,
It is determined what kind of electronic component b is held by the mounting head 2a, and the quality of the component is determined. Further, the shift amount with respect to the mounting head 2a is corrected, and the electronic component b is mounted at a predetermined position.

【0035】その他、図9(a)、図9(b)に示すよ
うに、電極部の構造が、スプリング端子により構成され
るパッケージ型電子部品として、ウエーハ・レベルCS
P技術「MOST:マイクロスプリング・オン・シリコ
ン・テクノロジー技術」を使った「ダイレクト・ラムバ
ス」のモジュール20がある。
In addition, as shown in FIGS. 9 (a) and 9 (b), the structure of the electrode portion is a wafer type CS as a package type electronic component constituted by spring terminals.
There is a "Direct Rambus" module 20 using P technology "MOST: Microspring on Silicon Technology".

【0036】MOSTの最も大きな特徴は、ウエーハ上
に微小なマイクロスプリング21を使った点であり、こ
のマイクロスプリング21とボード22をはんだ接続
し、モジュール20に仕上げる時にも本装置が利用され
る。
The most significant feature of the MOST is that a micro-spring 21 is used on the wafer. This device is also used when the micro-spring 21 and the board 22 are connected by soldering and the module 20 is finished.

【0037】このマイクロスプリング21によって次の
5つの効果が得られることになる。 (1)弾性によってボード搭載時の応力を緩和でき接続
信頼性を上げる。 (2)放熱性が上がるためヒートシンクを減らせる。 (3)S字形状の曲げ方によって再配線パターンを変更
できる。 (4)長さや形状によってインピーダンスを最適化し電
気特性を改善できる。 (5)金属結合によってはんだを不要にできる可能性が
ある。 といった点である。
The following five effects can be obtained by the micro spring 21. (1) Due to elasticity, stress at the time of mounting the board can be reduced, and connection reliability can be improved. (2) Heat dissipation can be reduced, thereby reducing the number of heat sinks. (3) The rewiring pattern can be changed according to the S-shaped bending method. (4) The impedance can be optimized by the length and shape, and the electrical characteristics can be improved. (5) There is a possibility that soldering can be made unnecessary by metal bonding. That is the point.

【0038】[0038]

【発明の効果】本願において開示される発明のうち、代
表的なものによって得られる効果を簡単に説明すれば、
下記の通りである。 (1)CSPやBGA等のパッケージ型電子部品の形状
寸法等の、その電子部品の姿勢を検出するための部品デ
ータが撮影手段で撮影された電子部品の画像情報を自動
的に演算処理することにより作成されるので、予め部品
データを操作者が作成することが不要となり、部品デー
タの作成効率が飛躍的に向上し、且つ操作者の負担が大
幅に軽減される。 (2)実際に装着されるCSPやBGA等のパッケージ
型電子部品から、その形状寸法のその電子部品の姿勢を
検出するための部品データを自動的に演算して作成する
ので、予め操作者により入力された部品データを使用す
ることがなくなり、部品データと実際の電子部品との寸
法差に起因するトラブルを完全に回避できる。 (3)CSPやBGA等のパッケージ型電子部品をプリ
ント基板に搬送して組み付ける搬送装置が、該電子部品
の部品データを格納する機能を有するので、格納された
部品データと実際に搬送される電子部品とを比較して、
搬送される電子部品の適否を判別することができる。 (4)部品データを利用することにより、搬送装置に保
持された状態の電子部品が搬送装置に対して所望の位置
に保持されているか否かと、所望の位置に対してどの程
度ずれているかを判別することができ、電子部品をプリ
ント基板に装着する際に、ずれ量を補正して所望の位置
に電子部品を装着することができる。
Advantageous effects obtained by typical ones of the inventions disclosed in the present application will be briefly described.
It is as follows. (1) Automatically processing image information of an electronic component obtained by photographing component data for detecting the posture of the electronic component, such as the shape and dimensions of a packaged electronic component such as a CSP or a BGA, by a photographing unit. Therefore, it is not necessary for the operator to create the component data in advance, and the efficiency of creating the component data is greatly improved, and the burden on the operator is greatly reduced. (2) From package electronic components such as CSP and BGA to be actually mounted, component data for detecting the posture of the electronic component of the shape and dimensions is automatically calculated and created. It is no longer necessary to use the input component data, and it is possible to completely avoid a trouble caused by a dimensional difference between the component data and the actual electronic component. (3) Since the transport device for transporting and assembling a package type electronic component such as a CSP or BGA onto a printed circuit board has a function of storing component data of the electronic component, the stored component data and the actually transported electronic component are stored. Compare with parts,
It is possible to determine whether the electronic component to be conveyed is appropriate. (4) By using the component data, it is determined whether the electronic component held by the transport device is held at a desired position with respect to the transport device and how much the electronic component is shifted from the desired position. The electronic component can be discriminated, and when the electronic component is mounted on the printed circuit board, the shift amount can be corrected and the electronic component can be mounted at a desired position.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例であるCSPやBGA等のは
んだバンプ部にボール形状を持つ電子部品の搬送組み付
け装置を示す概略図である。
FIG. 1 is a schematic view showing an apparatus for transporting and assembling an electronic component having a ball shape on a solder bump portion such as a CSP or a BGA according to an embodiment of the present invention.

【図2】電子部品の搬送組み付け装置の装着ヘッド部の
概略斜視図である。
FIG. 2 is a schematic perspective view of a mounting head unit of the electronic component conveying and assembling apparatus.

【図3】図1において装着ヘッドとカメラとの関係図で
ある。
FIG. 3 is a diagram showing a relationship between a mounting head and a camera in FIG. 1;

【図4】CSPやBGA等のはんだバンプ部にボール形
状を持つ電子部品の一例と部品データの一覧を示す概念
図である。
FIG. 4 is a conceptual diagram showing an example of an electronic component having a ball shape on a solder bump portion such as a CSP or BGA and a list of component data.

【図5】電子部品の搬送組み付け装置の制御回路を示す
ブロック図である。
FIG. 5 is a block diagram showing a control circuit of the device for transporting and assembling electronic components.

【図6】部品データを保存する手順を示すメインフロー
チャートである。
FIG. 6 is a main flowchart showing a procedure for saving component data.

【図7(a)】図6におけるステップS2の説明図であ
る。
FIG. 7A is an explanatory diagram of step S2 in FIG.

【図7(b)】図6におけるステップS3の説明図であ
る。
FIG. 7B is an explanatory diagram of step S3 in FIG.

【図7(c)】図6におけるステップS4の説明図であ
る。
FIG. 7C is an explanatory diagram of step S4 in FIG.

【図7(d)】図6におけるステップS5の説明図であ
る。
FIG. 7D is an explanatory diagram of step S5 in FIG.

【図7(e)】図6におけるステップS6〜ステップS
8の説明図である。
FIG. 7 (e) shows steps S6 to S in FIG.
FIG. 8 is an explanatory diagram of FIG.

【図7(f)】図6におけるステップS9の説明図であ
る。
FIG. 7 (f) is an explanatory diagram of step S9 in FIG.

【図8】画像処理アルゴリズムを示す図である。FIG. 8 is a diagram illustrating an image processing algorithm.

【図9(a)】通常の表面実装ラインを使ってマイクロ
スプリングとボードをはんだ接続し、モジュールに仕上
げたことを示す図である。
FIG. 9 (a) is a diagram showing that a microspring and a board are soldered using a normal surface mounting line to finish the module.

【図9(b)】マイクロスプリングの外観図である。FIG. 9B is an external view of a micro spring.

【符号の説明】[Explanation of symbols]

b 電子部品 Ca モールド部 Cb リード部 1 部品供給部 2 搬送装置 2a 装着ヘッド 3 部品装着部 4 プリント基板 5 吸着ノズル 6 移動軌跡 7 カメラ(撮影手段) 8 照明灯 9 光像入射手段 10 検出手段 11 画像処理装置 12 画像処理用CPU 13 画像メモリ 14 メインCPU 15 CRT 16 装着ヘッド駆動部 17 モータドライバー 18 搬送装置駆動部 19 モータドライバー 20 モジュール 21 マイクロスプリング 22 ボード b Electronic component Ca Mold portion Cb Lead portion 1 Component supply portion 2 Transfer device 2a Mounting head 3 Component mounting portion 4 Printed circuit board 5 Suction nozzle 6 Movement trajectory 7 Camera (photographing means) 8 Illumination lamp 9 Optical image incidence means 10 Detection means 11 Image processing device 12 Image processing CPU 13 Image memory 14 Main CPU 15 CRT 16 Mounting head drive unit 17 Motor driver 18 Transport device drive unit 19 Motor driver 20 Module 21 Micro spring 22 Board

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F065 AA03 AA07 AA16 AA23 AA26 AA61 CC26 CC27 FF04 FF26 JJ03 JJ26 LL12 PP22 QQ04 QQ24 SS02 SS04 SS13 TT01 TT03 5E313 AA01 AA11 CC03 CC04 EE02 EE03 EE24 EE37 FF24 FF26 FF28 FF33  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2F065 AA03 AA07 AA16 AA23 AA26 AA61 CC26 CC27 FF04 FF26 JJ03 JJ26 LL12 PP22 QQ04 QQ24 SS02 SS04 SS13 TT01 TT03 5E313 AA01 AA11 CC03 CC04 EE02 FF03 EE24 FF24

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 電極部の構造がはんだバンプ若しくはス
プリング端子により構成されるパッケージ型電子部品を
プリント基板上の所定位置へ装着する表面実装部品装着
機にあって、前記パッケージ型電子部品の画像を撮影す
る撮影手段と、該撮影手段により撮影された前記パッケ
ージ型電子部品の全体の1フレーム分の画像情報を記憶
する全体画像情報記憶手段と、前記1フレーム分の画像
情報の中から特定の領域の画像情報を読み出して、前記
電子部品のはんだバンプ部のバンプピッチ、バンプサイ
ズ、バンプ数およびバンプ配置情報などの、前記パッケ
ージ型電子部品の品質良否判定と姿勢を検出するための
部品データを自動的に演算して作成する部品データ演算
手段と、該部品データ演算手段により作成された部品デ
ータを保存する部品データ記憶手段とを有することを特
徴とする表面実装部品装着機。
1. A surface mount component mounting machine for mounting a package type electronic component having a structure of an electrode portion formed of a solder bump or a spring terminal at a predetermined position on a printed circuit board, wherein an image of the package type electronic component is displayed. Photographing means for photographing, whole image information storing means for storing image information for one frame of the entire packaged electronic component photographed by the photographing means, and a specific area from the image information for one frame Of the package-type electronic component and automatically detects component orientation data such as bump pitch, bump size, number of bumps, and bump arrangement information of the solder bump portion of the electronic component. Data calculating means for performing the computation by means of a component, and a component for storing the component data produced by the component data computing means A surface mount component mounting machine comprising: a data storage unit.
【請求項2】 電極部の構造がはんだバンプ若しくはス
プリング端子により構成されるパッケージ型電子部品を
プリント基板上の所定位置へ装着する表面実装部品装着
機にあって、前記パッケージ型電子部品の画像を撮影す
る撮影手段と、該撮影手段により撮影された前記パッケ
ージ型電子部品の全体の1フレーム分の画像情報を記憶
する全体画像情報記憶手段と、前記1フレーム分の画像
情報の中から特定の領域の画像情報を読み出して、前記
電子部品のはんだバンプ部のバンプピッチ、バンプサイ
ズ、バンプ数およびバンプ配置情報などの、前記パッケ
ージ型電子部品の品質良否判定と姿勢を検出するための
部品データを自動的に演算して作成する部品データ演算
手段と、該部品データ演算手段により作成された部品デ
ータを保存する部品データ記憶手段と、部品供給部の電
子部品を組み付けたステージに保持されたプリント基板
上の所定位置へ搬送する搬送手段と、前記部品データに
基づいて前記電子部品が前記搬送手段に保持された状態
における前記電子部品の基準位置と前記搬送手段の基準
位置とのずれ量を算出するずれ量算出手段と、前記ずれ
量に基づいて、前記電子部品を前記プリント基板上の所
定位置に対して装着する際における補正値を算出する補
正値算出手段とを有することを特徴とする表面実装部品
装着機。
2. A surface mount component mounting machine for mounting a package type electronic component having a structure of an electrode portion formed of a solder bump or a spring terminal at a predetermined position on a printed circuit board, wherein an image of the package type electronic component is displayed. Photographing means for photographing, whole image information storing means for storing image information for one frame of the entire packaged electronic component photographed by the photographing means, and a specific area from the image information for one frame Image data of the package-type electronic component, such as the bump pitch, bump size, number of bumps, and bump arrangement information of the solder bump portion of the electronic component, and automatically detects the component data for detecting the attitude of the package-type electronic component. Data calculating means for performing the computation by means of a component, and a component for storing the component data produced by the component data computing means Data storage means, transport means for transporting electronic components of a component supply unit to a predetermined position on a printed circuit board held on a stage on which the electronic components are assembled, and a state in which the electronic components are held by the transport means based on the component data And a shift amount calculating means for calculating a shift amount between a reference position of the electronic component and a reference position of the transport means, and mounting the electronic component on a predetermined position on the printed circuit board based on the shift amount. And a correction value calculating means for calculating a correction value at the time of mounting.
【請求項3】 多値化画像データを、あるしきい値で2
値化処理して、2値化画像データを作成し、該2値化画
像データをラベリング処理して明るい領域の塊を検出
し、それぞれの塊にラベルをつける画像情報を記憶する
全体画像情報記憶手段を具備することを特徴とする請求
項1または2記載の表面実装部品装着機。
3. The multi-valued image data is divided into two at a certain threshold value.
Binarizing image data by performing binarization processing, labeling processing of the binarized image data, detecting clusters of bright areas, and storing image information for labeling each cluster; The surface mount component mounting machine according to claim 1 or 2, further comprising means.
JP16147599A 1999-04-30 1999-04-30 Surface mount component mounting machine Expired - Lifetime JP4119039B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP16147599A JP4119039B2 (en) 1999-04-30 1999-04-30 Surface mount component mounting machine
KR1020000004166A KR20000076544A (en) 1999-04-30 2000-01-28 Machine for mounting electronic components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16147599A JP4119039B2 (en) 1999-04-30 1999-04-30 Surface mount component mounting machine

Publications (2)

Publication Number Publication Date
JP2000315896A true JP2000315896A (en) 2000-11-14
JP4119039B2 JP4119039B2 (en) 2008-07-16

Family

ID=15735807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16147599A Expired - Lifetime JP4119039B2 (en) 1999-04-30 1999-04-30 Surface mount component mounting machine

Country Status (2)

Country Link
JP (1) JP4119039B2 (en)
KR (1) KR20000076544A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003097926A (en) * 2001-09-27 2003-04-03 Nec Corp Method for inspecting ic appearance
JP2007085904A (en) * 2005-09-22 2007-04-05 Wing Systems:Kk Soldering defect inspection device
WO2007116848A1 (en) * 2006-03-29 2007-10-18 Matsushita Electric Industrial Co., Ltd. Electronic component mounting system, electronic component placing apparatus, and electronic component mounting method
CN107113980A (en) * 2015-01-05 2017-08-29 富士机械制造株式会社 The solder ball information management system of solder ball loader
WO2018100692A1 (en) * 2016-11-30 2018-06-07 株式会社Fuji Image processing method and image processing device for electronic part
WO2022059055A1 (en) * 2020-09-15 2022-03-24 株式会社Fuji Bump position data generation device
JP7397125B2 (en) 2018-10-23 2023-12-12 株式会社Fuji Component mounting machine

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06146391A (en) * 1992-11-09 1994-05-27 Oobaru:Kk Handrail for balcony
KR101046091B1 (en) * 2008-11-12 2011-07-01 삼성전기주식회사 Parts automatic alignment device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003097926A (en) * 2001-09-27 2003-04-03 Nec Corp Method for inspecting ic appearance
JP2007085904A (en) * 2005-09-22 2007-04-05 Wing Systems:Kk Soldering defect inspection device
WO2007116848A1 (en) * 2006-03-29 2007-10-18 Matsushita Electric Industrial Co., Ltd. Electronic component mounting system, electronic component placing apparatus, and electronic component mounting method
DE112007000342T5 (en) 2006-03-29 2009-01-29 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Electronic component mounting system, electronic component placement device and electronic component mounting method
US8240543B2 (en) 2006-03-29 2012-08-14 Panasonic Corporation Electronic component mounting system, electronic component placing apparatus, and electronic component mounting method
KR101260429B1 (en) 2006-03-29 2013-05-07 파나소닉 주식회사 Electronic component mounting system electronic component placing apparatus and electronic component mounting method
CN107113980A (en) * 2015-01-05 2017-08-29 富士机械制造株式会社 The solder ball information management system of solder ball loader
EP3244713A4 (en) * 2015-01-05 2018-04-04 Fuji Machine Mfg. Co., Ltd. Solder ball information management system for solder ball feeder
CN107113980B (en) * 2015-01-05 2019-04-16 株式会社富士 The solder ball information management system of solder ball loader
WO2018100692A1 (en) * 2016-11-30 2018-06-07 株式会社Fuji Image processing method and image processing device for electronic part
JPWO2018100692A1 (en) * 2016-11-30 2019-07-11 株式会社Fuji Image processing method for electronic parts and image processing apparatus
JP7397125B2 (en) 2018-10-23 2023-12-12 株式会社Fuji Component mounting machine
WO2022059055A1 (en) * 2020-09-15 2022-03-24 株式会社Fuji Bump position data generation device
JP7423809B2 (en) 2020-09-15 2024-01-29 株式会社Fuji Bump position data generation device

Also Published As

Publication number Publication date
KR20000076544A (en) 2000-12-26
JP4119039B2 (en) 2008-07-16

Similar Documents

Publication Publication Date Title
WO1998026641A1 (en) Electronic component and mounting method and device therefor
JPWO2006059553A1 (en) Electronic component handling device and defective terminal determination method
JP2000315896A (en) Surface mounting part-fitting machine
JP2008078399A (en) Component recognition method, component recognition apparatus, surface mounting apparatus, and component inspection apparatus
JP2003060398A (en) Method and apparatus for mounting component
JP5296749B2 (en) Component recognition device and surface mounter
JP2587998B2 (en) Appearance inspection device
JP2000013097A (en) Part mounting system
JPH11289199A (en) Electronic parts recognizing device
JP2005340648A (en) Part recognition method, part recognition apparatus, surface mounter, and part inspection apparatus
JPH10209227A (en) System and device for inspecting semiconductor integrated circuit, and method for inspecting semiconductor circuit
JP3225067B2 (en) Lead measurement method
JP2005167235A (en) Electronic component and packaging method for it
JPH10150298A (en) Compensation angle correcting method of electronic component and electronic component using the method
JP3326665B2 (en) Solder ball mounting inspection method, solder ball mounting inspection device, and solder ball mounting device
JP2533375B2 (en) Lead and bump position detection method in tape bonding
JPH11266100A (en) Recognition method and device of electronic component
KR0158372B1 (en) Absorption centering vision method for chip parts
JP4509537B2 (en) Component recognition device, surface mounter and component testing device
JPH07193398A (en) Automatic assembly/mounting device and its method
JP2023039754A (en) Maintenance method, and method for manufacturing electronic component
JP2023039753A (en) Calibration method, and method for manufacturing electronic component
JP2966045B2 (en) Operation amount correction method and apparatus for processing apparatus
JP2003264400A (en) Method and device for detecting electrode floating of electronic component
JP3215754B2 (en) Lead abnormality inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050927

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140502

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term