JP3753500B2 - Electronic component mounting method and electronic component mounting machine - Google Patents

Electronic component mounting method and electronic component mounting machine Download PDF

Info

Publication number
JP3753500B2
JP3753500B2 JP10068797A JP10068797A JP3753500B2 JP 3753500 B2 JP3753500 B2 JP 3753500B2 JP 10068797 A JP10068797 A JP 10068797A JP 10068797 A JP10068797 A JP 10068797A JP 3753500 B2 JP3753500 B2 JP 3753500B2
Authority
JP
Japan
Prior art keywords
electronic component
recognition
recognition result
mounting
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10068797A
Other languages
Japanese (ja)
Other versions
JPH1041699A (en
Inventor
典晃 吉田
好裕 味村
尚三 福田
寛二 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP10068797A priority Critical patent/JP3753500B2/en
Publication of JPH1041699A publication Critical patent/JPH1041699A/en
Application granted granted Critical
Publication of JP3753500B2 publication Critical patent/JP3753500B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Supply And Installment Of Electrical Components (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子部品実装装置により電子部品をプリント基板または液晶若しくはプラズマディプレイパネルの基板上などに実装する際の電子部品実装方法および電子部品実装機に関するものである。
【0002】
【従来の技術】
通常、電子部品実装機においては、電子部品を供給位置からノズルにより取り出してプリント基板上に実装するように構成されている。また、この部品実装のための従来の電子部品実装方法においては、電子部品の取り出された姿勢を認識装置により検出して部品認識を行うようにしている。この部品認識を行う際の一手順について、図面を参照しながら以下に説明する。
【0003】
図2は電子部品実装の動作状況に対する監視システムを備えた電子部品実装機のブロック構成図である。この電子部品実装機は、実装機本体1と、実装機操作パネル2と、上位コンピュータ3とで構成されている。
【0004】
この電子部品実装機においては、電子部品を実装するときの実装機の稼動率向上のために、設備の無人化が推し進められてきている。電子部品実装機で電子部品を実装するときに必要となる電子部品を認識させるための部品認識データの作成および選択は、装着位置プログラム作成時に、電子部品実装機のオペレータが実装機操作パネル2あるいは上位コンピュータ3を利用して行っていた。
【0005】
図3は従来の電子部品実装方法を利用した電子部品実装機の部品認識データ作成および選択の手順図である。電子部品実装機で電子部品を実装しようとした時に、電子部品実装機のオペレータが行う手順は以下のものである。
【0006】
図3において、ステップ#41では、オペレータの入力に基づき被実装物である電子部品の幾何特徴として部品外形寸法やリード本数、リードピッチなどをカタログデータから抽出し、それらの幾何特徴を電子部品実装機に記憶させる。
【0007】
ステップ#42では、オペレータの入力に基づき電子部品実装機に予め割り当てられた実装しようとする電子部品に適応できると考えられる部品認識のための認識手段(アルゴリズム)を一つ選択し、この選択されたアルゴリズムの番号とステップ#41で入力した幾何特徴とともに部品認識データとして電子部品実装機に登録して記憶させる。
【0008】
ステップ#43では、ステップ#41,#42で登録された部品認識データを使用して、電子部品を認識する。
ステップ#44では、前記部品認識が許容されるか否か(OKか否か)判断する。
【0009】
ステップ#44で前記部品認識が許容される場合には、ステップ#45で検出された電子部品の吸着姿勢から基板上の実装位置における正規の装着姿勢との差を計算して修正する。
【0010】
次いで、ステップ#45で、電子部品を電子部品実装機を用いて実装する。
その後、ステップ#47において、実装すべき電子部品が残っているか否か、言い換えれば、最終の実装ブロックか否か判断し、最終の実装ブロックならば実装動作を終了する。最終の実装ブロックでないならば、次の実装ブロックでの電子部品の実装を行うため、ステップ#43に戻る。
【0011】
一方、ステップ#44において、前記部品認識が許容されない場合には、ステップ#45において、前記電子部品が属する実装ブロックをエラーブロックとして登録する。
【0012】
次いで、ステップ#49において、前記実装ブロックでの電子部品の実装をスキップしたのち、ステップ#47に進む。
このように、オペレータの入力に基づくステップ#41およびステップ#42の教示工程で教示されたデータに基づき、ステップ#43〜ステップ#47の実装工程を行うものであり、実装工程では、教示工程での電子部品の認識データを使用して部品認識の結果を確認し、その確認結果が良好であれば選択していた部品認識データを採用する。また、認識結果が良好でなければ電子部品の実装をスキップして次の電子部品の実装を行うようにして、実装を連続的に行うようにしている。
【0013】
【発明が解決しようとする課題】
しかしながら、上記のような電子部品実装機の部品認識データの作成、登録方法による従来の電子部品実装方法では、
1) 電子部品実装機において部品認識データの作成、登録を行う教示工程では、実装する電子部品をオペレータが識別して判断するので、オペレータごとに部品認識データにばらつきが生じるため、同一の電子部品を実装する場合に対してでも、高精度認識の下での部品装着を実現することができない。
【0014】
2) 教示工程においてオペレータにより一つの電子部品認識に対し一つの認識アルゴリズムだけが選択実行されているため、電子部品のロットばらつきによる微妙な部品表面色の違いや、リードの光沢差による光りかたの違いなどが発生した時には、部品認識率が極端に悪化し誤認識が増大する。
などの問題点を有していた。
【0015】
本発明は、上記の問題点を解決するもので、幾何特徴の同一な電子部品に対しては、それらの電子部品ごとにアルゴリズムを設定することなく、高精度認識の下での部品装着を高い認識率の下に可能とし、その際の電子部品に対する誤認識を大幅に軽減することができるとともに、オペレータによる部品認識データの設定および管理を不要とすることができる電子部品実装方法および電子部品実装機を提供する。
【0016】
【課題を解決するための手段】
本発明の電子部品実装方法は、電子部品を電子部品供給位置から取り出し、前記電子部品の取り出された姿勢を検出し、検出した結果に基づき前記電子部品を基板上に実装するに際し、電子部品供給位置から取り出された電子部品をカメラで撮像し、その撮像による画像データを複数の姿勢検出用アルゴリズムで処理して、電子部品の取り出された姿勢を検出して実装することを特徴とする。
【0017】
この本発明によると、幾何特徴の同一な電子部品に対しては電子部品ごとにアルゴリズムを設定することなく、高精度認識の下での部品装着を高い認識率の下に可能とし、その際の電子部品に対する誤認識を大幅に軽減することができるとともに、オペレータによる部品認識データの設定および管理を不要とできる。
【0018】
本発明においては、認識処理により検出した電子部品の姿勢と電子部品実装機に記憶などにより保持した電子部品の幾何特徴とに基づいて、電子部品を実装する位置情報を算出し記憶などするものであり、幾何特徴の同一な電子部品に対しては、それらの電子部品ごとに姿勢検出用アルゴリズムを設定することなく、高精度認識の下での部品装着を高い認識率の下に可能とし、その際の電子部品に対する誤認識を大幅に軽減することができるとともに、オペレータによる部品認識データの設定および管理を不要とすることができる。
【0019】
【発明の実施の形態】
本発明の第1態様によれば、電子部品を電子部品供給位置から取り出し、前記電子部品の取り出された姿勢を認識し、認識した結果に基づき前記電子部品を基板上に実装するに際し、電子部品供給位置から取り出された電子部品をカメラで撮像し、その撮像による画像データから複数の姿勢検出用アルゴリズムで処理し、複数の認識結果から許容されている認識結果を有するアルゴリズムを選択するとき、前記複数の姿勢検出用アルゴリズムにより得られた電子部品の姿勢に対する各認識結果と、電子部品実装機に記憶した前記電子部品の幾何特徴とを照合して、前記許容範囲に入った中の前記記憶した前記電子部品の幾何特徴に最も近い認識結果に基づいて、電子部品の実装位置の情報に修正を加えて基板に電子部品を実装することを特徴とする。
【0021】
本発明の第2態様によれば、第1態様において、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品の面積値と、姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値とを照合して、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値の少なくとも一つが前記電子部品の外形寸法から得られた電子部品の面積値の許容範囲に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品の面積値に最も近い認識結果を選択することを特徴とする。
【0022】
本発明の第3態様によれば、第1態様において、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さと、姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さとを照合して、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さの少なくとも一つが前記電子部品の外形寸法から得られた電子部品外形を構成する直線の長さの許容値内に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さに最も近い認識結果を選択することを特徴とする。
【0024】
本発明の第4態様によれば、電子部品供給位置から電子部品を取り出し、電子部品の取り出された姿勢を検出し、検出した結果に基づき電子部品を基板上に実装する電子部品実装機において、電子部品供給位置から取り出された前記電子部品をカメラ(102)で撮像し、その撮像による画像データを複数の姿勢検出用アルゴリズムで処理し、その撮像による画像データから複数の姿勢検出用アルゴリズムで処理し、複数の認識結果から一つの認識結果を選択するとき、複数の姿勢検出用アルゴリズムにより得られた電子部品の姿勢に対する各認識結果と、前記電子部品実装機に記憶した前記電子部品の幾何特徴とを照合して、前記許容範囲に入った中の前記記憶した前記電子部品の幾何特徴に最も近い認識結果に基づいて、電子部品の実装位置の情報に修正を加えて前記基板に前記電子部品を実装するようにした制御部(100)を備えることを特徴とする。
【0025】
本発明の第5態様によれば、第4態様において、制御部は、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品の面積値と、姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値とを照合することにより、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値の少なくとも一つが前記電子部品の外形寸法から得られた電子部品の面積値の許容範囲に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品の面積値に最も近い認識結果を選択するようにしたことを特徴とする。
【0026】
本発明の第6態様によれば、第4態様において、制御部は、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さと、姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さとを照合することにより、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さの少なくとも一つが前記電子部品の外形寸法から得られた電子部品外形を構成する直線の長さの許容値内に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さに最も近い認識結果を選択するようにしたことを特徴とする。
【0027】
以下、本発明の一実施の形態を示す電子部品実装方法およびその電子部品実装機について、図面を参照しながら具体的に説明する。
図1は本実施の形態の電子部品実装方法を適用して電子部品を実装する際の部品認識データの作成とそのデータを使用した電子部品認識の手順図である。図4はその実装方法を実施するための前記実装機の認識装置のブロック図である。
【0028】
図1において、ステップ#1では、オペレータによりキーボードやマウスなどの入力装置101により、被実装物である電子部品の幾何特徴として部品外形寸法やリード本数、リードピッチなどをカタログデータから抽出し、それらの幾何特徴を電子部品実装機の認識装置150のメモリ104に記憶させる。
【0029】
ステップ#2では、オペレータの入力により、電子部品実装機にあらかじめ割り当てられた実装しようとする電子部品に適応できると考えられる部品認識の認識手段(アルゴリズム)の候補を、電子部品のリードの数やパッケージの色などを考慮して、複数個選択し、これらのアルゴリズムを部品認識データとして電子部品実装機の認識装置150のメモリ104に登録する。
【0030】
ステップ#3では、ステップ#1,#2で登録された部品認識データを使用して、電子部品を電子部品実装機により実装する。本ステップでは、電子部品実装機のノズル110により吸着された電子部品111をカメラ102により撮像し、その1つの画像データを実装機の内部の認識装置150のメモリ103の複数の記憶部分にそれぞれ記憶させる。
【0031】
次いで、ステップ#4および#5において、それぞれ記憶された電子部品の画像データを、メモリ104内に記憶されかつステップ#2で選択された異なるアルゴリズムにより認識装置150の制御部100で並列に処理させる。
【0032】
これらの処理を行うために、この制御部100は、各処理に対応する処理部を備えている。一例として、図1ではステップ#4では前記画像データをAのアルゴリズムを実行して処理し、同時に、ステップ#5では前記画像データをBのアルゴリズムを実行して処理するようにしている。
【0033】
ステップ#6では、ステップ#3で選択されステップ#4,#5で実行された複数のアルゴリズムを用いて部品認識した結果を、ステップ#1で記憶した電子部品の幾何特徴と制御部100において照合することにより、各々の認識結果を評価する。
【0034】
このように、前記実装機の認識装置150は、カメラ102,メモリ103,104,制御部100,入力装置101とを備えて大略構成されている。ステップ#4および#5では、複数の部品認識アルゴリズムが電子部品認識に対し実行されるため、異なる複数個の部品認識結果が認識装置150より返されることとなる。電子部品を実装するためには、複数個の認識結果のうちから、部品認識評価値により最適な認識結果を制御部100において選択する必要がある。
【0035】
この部品認識評価値の算出方法としては、電子部品の外形寸法から得られた部品の面積値と部品認識結果から得られた部品の面積値とを照合することにより、幾何形状を正しく認識できているアルゴリズムを選択するものがある。
【0036】
また別の方法としては、電子部品の外形寸法から得られた部品外形を構成する直線の長さと部品認識結果から得られた部品外形を構成する直線の長さとを照合することにより、幾何形状を正しく認識できているアルゴリズムを選択するものが考えられる。
【0037】
このようにして、ステップ#6で複数のアルゴリズムの処理結果から最適な認識結果を選択する。
一例として、ステップ#6においてステップ#4と#5でそれぞれ実行された前記AのアルゴリズムとBのアルゴリズムとの両方の認識結果が共に許容範囲にある場合には、ステップ#7に進み、2つの認識結果より算出された前記部品認識評価値に基づき、今回の実装に使用するアルゴリズムを1つ選択する。
【0038】
次いで、ステップ#8において、選択されたアルゴリズムの認識結果に基づき、検出された電子部品の吸着姿勢から基板上の実装位置を制御部100で計算し修正する。
【0039】
ステップ#9では、修正された実装位置に基づき制御部100の制御の元に電子部品を電子部品実装機を用いて実装する。
その後、ステップ#10において、実装すべき電子部品が残っているか否か、言い換えれば、最終の実装ブロックか否か判断し、最終の実装ブロックならば実装動作を終了する。最終の実装ブロックでないならば、次の実装ブロックでの電子部品の実装を行うため、ステップ#3に戻る。
【0040】
一方、ステップ#6において、前記AのアルゴリズムまたはBのアルゴリズムのいずれか一方のアルゴリズムの認識結果のみ許容される場合には、ステップ#13において、2つのアルゴリズムのうち、許容されている認識結果を有するアルゴリズムを選択することに決定し、ステップ#8に進む。
【0041】
また、ステップ#6において、AのアルゴリズムもBのアルゴリズムも両方とも認識結果が許容されない場合には、ステップ#11において前記電子部品が属する実装ブロックをエラーブロックとして登録する。次いで、ステップ#12において、前記実装ブロックでの電子部品の実装をスキップしたのち、ステップ#10に進む。
【0042】
このように、オペレータの入力に基づくステップ#1およびステップ#2の教示工程で教示されたデータに基づき、ステップ#3〜ステップ#10の実装工程を行うものであり、実装工程では、教示工程での電子部品の認識データを使用して部品認識の結果を確認し、その確認結果が良好であれば選択していた部品認識データを採用する。また、認識結果が良好でなければ電子部品の実装をスキップして次の電子部品の実装を行うようにして、実装を連続的に行うようにしている。
【0043】
このようにして、電子部品を供給位置からノズルにより取り出してプリント基板上に実装する過程で、その電子部品の取り出された姿勢を認識装置により検出する際に、電子部品の画像を複数個のアルゴリズムを使用して複数の姿勢検出用アルゴリズムで処理し、各々の検出結果と記憶された電子部品の幾何特徴とを照合して複数の検出結果の内から1つの検出結果を選び、その検出結果に基づいて、電子部品の実装位置の情報に修正を加える。
【0044】
以上の方法により、幾何特徴の同一な電子部品に対しては、それらの電子部品ごとにアルゴリズムを設定することなく、高精度認識の下での部品装着を高い認識率の下に可能とし、その際の電子部品に対する誤認識を大幅に軽減することができるとともに、オペレータによる部品認識データの設定および管理を不要とすることができる。
【0045】
その結果、電子部品実装機において部品認識データの作成、登録の際に、オペレータにより各電子部品毎に部品認識データを一つ限定するといった作業が必要なくなり、同一の電子部品に対する部品認識データにばらつきが生じず、電子部品の生産ロットばらつきによる部品表面色の微妙な違いやリードの光沢差による光りかたの違いなどが発生した時でも、部品認識率が極端に悪化するということがなくなるとともに、部品認識精度が向上することになる。
【0046】
なお、前記した姿勢検出用アルゴリズムは、例えば、1991年1月1日発行のMorimotoなどの米国特許第4,981,372 号や1991年8月6日発行のMorimotoなどの第5,038,380 号に記載されたものなど、様々なものが考案されている。
【0047】
【発明の効果】
以上のように本発明によれば、電子部品を供給位置から取り出して基板上に実装する過程で、その電子部品の取り出された姿勢を認識装置により検出する際に、電子部品の画像を複数個の姿勢検出用アルゴリズムを使用して処理し、各々の検出結果の内から1つの検出結果を選び、その検出結果に基づいて、電子部品の実装位置の情報に修正を加えることができる。
【0048】
そのため、幾何特徴の同一な電子部品に対しては、それらの電子部品ごとにアルゴリズムを設定することなく、高精度認識の下での部品装着を高い認識率の下に可能とし、その際の電子部品に対する誤認識を大幅に軽減することができるとともに、オペレータによる部品認識データの設定および管理を不要とすることができる。
【0049】
その結果、電子部品実装機において部品認識データの作成、登録の際に、オペレータにより各電子部品毎に部品認識データを一つ限定するといった作業が必要なくなり、同一の電子部品に対する部品認識データにばらつきが生じず、電子部品の生産ロットばらつきによる部品表面色の微妙な違いやリードの光沢差による光りかたの違いなどが発生した時でも、部品認識率が極端に悪化するということがなくなるとともに、部品認識精度が向上することになる。
【図面の簡単な説明】
【図1】本発明の実施の形態の電子部品実装方法における部品認識の手順図
【図2】同実施の形態の電子部品実装方法が利用される電子部品実装機の概略構成図
【図3】従来の電子部品実装方法における部品認識の手順図
【図4】本実施形態の実装機の認識装置のブロック図
【符号の説明】
1 実装機本体
2 実装機操作パネル
3 上位コンピュータ
100 制御部
101 入力装置
102 カメラ
103 メモリ
104 メモリ
110 ノズル
111 電子部品
150 認識装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic component mounting method and an electronic component mounting machine when an electronic component is mounted on a printed circuit board or a substrate of a liquid crystal or plasma display panel by an electronic component mounting apparatus.
[0002]
[Prior art]
Usually, an electronic component mounting machine is configured to take out an electronic component from a supply position with a nozzle and mount it on a printed board. In the conventional electronic component mounting method for mounting components, the recognition is performed by detecting the posture of the electronic component taken out by the recognition device. One procedure for performing the component recognition will be described below with reference to the drawings.
[0003]
FIG. 2 is a block diagram of an electronic component mounting machine provided with a monitoring system for the operation status of electronic component mounting. This electronic component mounting machine is composed of a mounting machine body 1, a mounting machine operation panel 2, and a host computer 3.
[0004]
In this electronic component mounting machine, unmanned equipment has been promoted in order to improve the operating rate of the mounting machine when mounting electronic components. Creation and selection of component recognition data for recognizing an electronic component necessary for mounting an electronic component by the electronic component mounter is performed by the operator of the electronic component mounter when the mounting position program is created. It was performed using the host computer 3.
[0005]
FIG. 3 is a procedure diagram for creating and selecting component recognition data of an electronic component mounter using a conventional electronic component mounting method. The procedure performed by the electronic component mounter operator when an electronic component is to be mounted by the electronic component mounter is as follows.
[0006]
In FIG. 3, in step # 41, component external dimensions, the number of leads, lead pitch, and the like are extracted from the catalog data as geometric features of the electronic component that is the mounting object based on the input from the operator, and those geometric features are mounted on the electronic component Remember the machine.
[0007]
In step # 42, one recognition means (algorithm) for component recognition, which is considered to be applicable to the electronic component to be mounted, which is assigned in advance to the electronic component mounting machine, is selected based on the input from the operator. Along with the algorithm number and the geometric feature input at step # 41, the data is registered and stored in the electronic component mounter as component recognition data.
[0008]
In step # 43, the electronic component is recognized using the component recognition data registered in steps # 41 and # 42.
In step # 44, it is determined whether or not the component recognition is allowed (OK).
[0009]
If the component recognition is permitted in step # 44, the difference between the electronic component suction posture detected in step # 45 and the normal mounting posture at the mounting position on the board is calculated and corrected.
[0010]
Next, in step # 45, the electronic component is mounted using an electronic component mounter.
Thereafter, in step # 47, it is determined whether or not an electronic component to be mounted remains, in other words, whether or not it is the final mounting block. If it is the final mounting block, the mounting operation is terminated. If it is not the final mounting block, the process returns to step # 43 in order to mount the electronic component in the next mounting block.
[0011]
On the other hand, if the component recognition is not permitted in step # 44, the mounting block to which the electronic component belongs is registered as an error block in step # 45.
[0012]
Next, in step # 49, after skipping the mounting of the electronic component in the mounting block, the process proceeds to step # 47.
As described above, the mounting process of Step # 43 to Step # 47 is performed based on the data taught in the teaching process of Step # 41 and Step # 42 based on the input of the operator. The recognition result of the part is confirmed using the recognition data of the electronic part, and if the confirmation result is satisfactory, the selected part recognition data is adopted. If the recognition result is not good, the mounting of the electronic component is skipped and the next electronic component is mounted so that the mounting is continuously performed.
[0013]
[Problems to be solved by the invention]
However, in the conventional electronic component mounting method according to the method for creating and registering the component recognition data of the electronic component mounting machine as described above,
1) In the teaching process of creating and registering component recognition data in the electronic component mounting machine, since the operator identifies and determines the electronic component to be mounted, the component recognition data varies from operator to operator. Even in the case of mounting, it is impossible to realize component mounting with high accuracy recognition.
[0014]
2) Since only one recognition algorithm is selected and executed by the operator for recognition of one electronic component in the teaching process, a slight difference in the surface color of the component due to lot variation of the electronic component, or how the light shines due to the difference in gloss of the lead When such a difference occurs, the component recognition rate is extremely deteriorated and false recognition increases.
It had problems such as.
[0015]
The present invention solves the above-described problems. For electronic parts having the same geometric features, the mounting of parts under high-accuracy recognition is high without setting an algorithm for each electronic part. Electronic component mounting method and electronic component mounting that can be performed under the recognition rate, can greatly reduce misrecognition of electronic components at that time, and can eliminate the need for setting and managing component recognition data by an operator Provide a machine.
[0016]
[Means for Solving the Problems]
In the electronic component mounting method of the present invention, the electronic component is taken out from the electronic component supply position, the taken-out posture of the electronic component is detected, and the electronic component is supplied when the electronic component is mounted on the substrate based on the detected result. The electronic component taken out from the position is imaged by a camera, and image data obtained by the imaging is processed by a plurality of attitude detection algorithms to detect and mount the attitude taken out of the electronic component.
[0017]
According to the present invention, it is possible to mount components under high accuracy recognition with a high recognition rate without setting an algorithm for each electronic component with the same geometric feature. It is possible to greatly reduce misrecognition of electronic components and to eliminate the need for setting and managing component recognition data by an operator.
[0018]
In the present invention, the position information for mounting the electronic component is calculated and stored based on the posture of the electronic component detected by the recognition process and the geometric feature of the electronic component held in the electronic component mounter by storage or the like. Yes, for electronic parts with the same geometric features, it is possible to mount parts under high accuracy recognition with a high recognition rate without setting an attitude detection algorithm for each electronic part. Erroneous recognition of electronic components at the time can be greatly reduced, and setting and management of component recognition data by the operator can be made unnecessary.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
According to the first aspect of the present invention, when the electronic component is taken out from the electronic component supply position, the posture of the electronic component taken out is recognized, and the electronic component is mounted on the substrate based on the recognized result, the electronic component When an electronic component taken out from a supply position is imaged by a camera, processed by a plurality of attitude detection algorithms from image data obtained by the imaging, and an algorithm having a recognized recognition result from a plurality of recognition results is selected, Each recognition result with respect to the posture of the electronic component obtained by a plurality of posture detection algorithms is collated with the geometric feature of the electronic component stored in the electronic component mounting machine, and the stored one in the allowable range is stored. based on the nearest recognition result geometric features of the electronic component, characterized in that for mounting electronic components on a substrate with modification to the information of the mounting position of the electronic component To.
[0021]
According to the second aspect of the present invention , in the first aspect, when one recognition result is selected from a plurality of recognition results, the area value of the electronic component obtained from the stored external dimension of the electronic component and the posture detection The area value of the electronic component obtained from the recognition result of the algorithm for use is collated, and at least one of the area values of the electronic component obtained from the recognition result of the attitude detection algorithm is obtained from the external dimension of the electronic component. When the electronic component area value is within the allowable range, the recognition result closest to the electronic component area value obtained from the stored outside dimensions of the electronic component within the allowable range is selected. Features.
[0022]
According to a third aspect of the present invention , in the first aspect, when one recognition result is selected from a plurality of recognition results , the length of a straight line constituting the electronic component outer shape obtained from the stored outer dimension of the electronic component. And the length of the straight line constituting the external shape of the electronic component obtained from the recognition result of the attitude detection algorithm by comparing the length of the straight line constituting the external shape of the electronic component obtained from the recognition result of the posture detection algorithm If at least one of the values falls within an allowable value of the length of a straight line constituting the external shape of the electronic component obtained from the external size of the electronic component, the external size of the stored electronic component within the allowable range The recognition result closest to the length of the straight line constituting the external shape of the electronic component obtained from the above is selected.
[0024]
According to the fourth aspect of the present invention, in the electronic component mounting machine that takes out the electronic component from the electronic component supply position, detects the posture of the electronic component taken out, and mounts the electronic component on the board based on the detected result. The electronic component taken out from the electronic component supply position is imaged by the camera (102), image data obtained by the imaging is processed by a plurality of attitude detection algorithms, and the image data obtained by the imaging is processed by a plurality of attitude detection algorithms. When a single recognition result is selected from a plurality of recognition results, each recognition result with respect to the posture of the electronic component obtained by a plurality of posture detection algorithms and the geometric feature of the electronic component stored in the electronic component mounter Based on the recognition result closest to the stored geometric feature of the electronic component that is within the allowable range, the electronic component mounting Characterized in that it comprises control unit which with modification to the information of the location so as to implement the electronic component on the substrate (100).
[0025]
According to a fifth aspect of the present invention , in the fourth aspect, when the control unit selects one recognition result from a plurality of recognition results, the area value of the electronic component obtained from the stored external dimension of the electronic component. And the area value of the electronic component obtained from the recognition result of the attitude detection algorithm, so that at least one of the area values of the electronic component obtained from the recognition result of the attitude detection algorithm The recognition result closest to the area value of the electronic component obtained from the stored outside dimension of the stored electronic component in the allowable range when entering the allowable range of the area value of the electronic component obtained from the external dimension characterized by being adapted to select.
[0026]
According to a sixth aspect of the present invention , in the fourth aspect, when the control unit selects one recognition result from a plurality of recognition results , the control unit configures an electronic component outer shape obtained from the stored outer dimensions of the electronic component. The outline of the electronic component obtained from the recognition result of the attitude detection algorithm is configured by comparing the length of the straight line to be recognized and the length of the straight line constituting the outline of the electronic part obtained from the recognition result of the attitude detection algorithm. When at least one of the straight line lengths falls within an allowable value of the length of the straight line constituting the external shape of the electronic component obtained from the external dimension of the electronic component, the stored value within the allowable range is stored. The recognition result closest to the length of the straight line constituting the external shape of the electronic component obtained from the external size of the electronic component is selected.
[0027]
Hereinafter, an electronic component mounting method and an electronic component mounting machine according to an embodiment of the present invention will be specifically described with reference to the drawings.
FIG. 1 is a procedure diagram of creation of component recognition data and electronic component recognition using the data when mounting the electronic component by applying the electronic component mounting method of the present embodiment. FIG. 4 is a block diagram of a recognition apparatus of the mounting machine for implementing the mounting method.
[0028]
In FIG. 1, in step # 1, the operator extracts the external dimensions, the number of leads, the lead pitch, and the like from the catalog data as geometric features of the electronic component, which is a mounted object, using the input device 101 such as a keyboard or a mouse. Are stored in the memory 104 of the recognition device 150 of the electronic component mounting machine.
[0029]
In step # 2, a candidate for recognition means (algorithm) for component recognition that can be applied to an electronic component to be mounted that is assigned in advance to the electronic component mounting machine by an operator's input, A plurality of algorithms are selected in consideration of the package color and the like, and these algorithms are registered in the memory 104 of the recognition device 150 of the electronic component mounting machine as component recognition data.
[0030]
In step # 3, the electronic component is mounted by the electronic component mounter using the component recognition data registered in steps # 1 and # 2. In this step, the electronic component 111 picked up by the nozzle 110 of the electronic component mounting machine is imaged by the camera 102, and one image data is stored in each of a plurality of storage portions of the memory 103 of the recognition device 150 inside the mounting machine. Let
[0031]
Next, in Steps # 4 and # 5, the image data of the electronic parts stored respectively is processed in parallel by the control unit 100 of the recognition apparatus 150 using different algorithms stored in the memory 104 and selected in Step # 2. .
[0032]
In order to perform these processes, the control unit 100 includes a processing unit corresponding to each process. As an example, in FIG. 1, the image data is processed by executing the algorithm A at step # 4, and at the same time, the image data is processed by executing the algorithm B at step # 5.
[0033]
In step # 6, the result of component recognition using the plurality of algorithms selected in step # 3 and executed in steps # 4 and # 5 is collated in the control unit 100 with the geometric characteristics of the electronic component stored in step # 1. Thus, each recognition result is evaluated.
[0034]
As described above, the mounting machine recognizing device 150 is roughly configured to include the camera 102, the memories 103 and 104, the control unit 100 , and the input device 101. In steps # 4 and # 5, since a plurality of component recognition algorithms are executed for electronic component recognition, a plurality of different component recognition results are returned from the recognition device 150. In order to mount an electronic component, it is necessary to select an optimal recognition result from the plurality of recognition results based on the component recognition evaluation value in the control unit 100.
[0035]
As a method for calculating the component recognition evaluation value, the geometric shape can be correctly recognized by comparing the component area value obtained from the external dimensions of the electronic component with the component area value obtained from the component recognition result. There is something to choose the algorithm that is.
[0036]
As another method, the geometric shape is obtained by comparing the length of the straight line constituting the part outline obtained from the external dimension of the electronic part with the length of the straight line constituting the part outline obtained from the part recognition result. It is possible to select an algorithm that can be recognized correctly.
[0037]
In this way, the optimum recognition result is selected from the processing results of the plurality of algorithms in step # 6.
As an example, if both the recognition results of the A algorithm and the B algorithm executed in steps # 4 and # 5 in step # 6 are within the allowable range, the process proceeds to step # 7. Based on the component recognition evaluation value calculated from the recognition result, one algorithm to be used for the current mounting is selected.
[0038]
Next, in step # 8, based on the recognition result of the selected algorithm, the control unit 100 calculates and corrects the mounting position on the substrate from the detected suction position of the electronic component.
[0039]
In step # 9, an electronic component is mounted using an electronic component mounter under the control of the control unit 100 based on the corrected mounting position.
Thereafter, in step # 10, it is determined whether or not there is an electronic component to be mounted, in other words, whether or not it is the final mounting block. If it is the final mounting block, the mounting operation is terminated. If it is not the final mounting block, the process returns to step # 3 in order to mount the electronic component in the next mounting block.
[0040]
On the other hand, if only the recognition result of either the algorithm A or the algorithm B is permitted in step # 6, the permitted recognition result of the two algorithms is determined in step # 13. Decide to select the algorithm you have, and go to step # 8.
[0041]
In step # 6, if neither A algorithm nor B algorithm recognizes the recognition result, the mounting block to which the electronic component belongs is registered as an error block in step # 11. Next, in step # 12, after skipping the mounting of the electronic component in the mounting block, the process proceeds to step # 10.
[0042]
As described above, the mounting process of Step # 3 to Step # 10 is performed based on the data taught in the teaching process of Step # 1 and Step # 2 based on the input of the operator. The recognition result of the part is confirmed using the recognition data of the electronic part, and if the confirmation result is satisfactory, the selected part recognition data is adopted. If the recognition result is not good, the mounting of the electronic component is skipped and the next electronic component is mounted so that the mounting is continuously performed.
[0043]
In this way, in the process of taking out the electronic component from the supply position by the nozzle and mounting it on the printed circuit board, when the posture of the electronic component is detected by the recognition device, a plurality of algorithms are used to detect the electronic component image. Are processed by a plurality of attitude detection algorithms, and each detection result is compared with the stored geometric feature of the electronic component to select one detection result from the plurality of detection results. Based on the information, the electronic component mounting position information is corrected.
[0044]
With the above method, for electronic parts with the same geometric features, it is possible to mount parts under high accuracy recognition with a high recognition rate without setting an algorithm for each electronic part. Erroneous recognition of electronic components at the time can be greatly reduced, and setting and management of component recognition data by the operator can be made unnecessary.
[0045]
As a result, when creating and registering component recognition data on an electronic component mounter, the operator does not need to limit the component recognition data to one for each electronic component, and the component recognition data for the same electronic component varies. Even when subtle differences in the surface color of parts due to variations in production lots of electronic parts or differences in lighting due to differences in gloss of leads occur, the component recognition rate will not be extremely deteriorated. Component recognition accuracy will be improved.
[0046]
The attitude detection algorithm described above is, for example, the one described in US Pat. No. 4,981,372 issued by Morimoto et al. Issued on Jan. 1, 1991 or 5,038,380 issued by Morimoto issued Aug. Various things have been devised.
[0047]
【The invention's effect】
As described above, according to the present invention, in the process of taking out an electronic component from the supply position and mounting it on the substrate, a plurality of images of the electronic component are detected when the posture of the taken out electronic component is detected by the recognition device. In this case, one detection result is selected from the respective detection results, and the information on the mounting position of the electronic component can be modified based on the detection result.
[0048]
Therefore, for electronic parts with the same geometric features, it is possible to mount parts under high accuracy recognition with a high recognition rate without setting an algorithm for each electronic part. The misrecognition of parts can be greatly reduced, and the setting and management of part recognition data by the operator can be made unnecessary.
[0049]
As a result, when creating and registering component recognition data on an electronic component mounter, the operator does not need to limit the component recognition data to one for each electronic component, and the component recognition data for the same electronic component varies. Even when subtle differences in the surface color of parts due to variations in production lots of electronic parts or differences in lighting due to differences in gloss of leads occur, the component recognition rate will not be extremely deteriorated. Component recognition accuracy will be improved.
[Brief description of the drawings]
FIG. 1 is a procedure diagram of component recognition in an electronic component mounting method according to an embodiment of the present invention. FIG. 2 is a schematic configuration diagram of an electronic component mounting machine using the electronic component mounting method according to the embodiment. Component recognition procedure diagram in a conventional electronic component mounting method [FIG. 4] Block diagram of a mounting machine recognition apparatus of this embodiment
DESCRIPTION OF SYMBOLS 1 Mounting machine main body 2 Mounting machine operation panel 3 Host computer 100 Control part 101 Input device 102 Camera 103 Memory 104 Memory 110 Nozzle 111 Electronic component 150 Recognition apparatus

Claims (6)

電子部品を電子部品供給位置から取り出し、前記電子部品の取り出された姿勢を認識し、認識した結果に基づき前記電子部品を基板上に実装するに際し、電子部品供給位置から取り出された電子部品をカメラで撮像し、その撮像による画像データから複数の姿勢検出用アルゴリズムで処理し、複数の認識結果から許容されている認識結果を有するアルゴリズムを選択するとき、前記複数の姿勢検出用アルゴリズムにより得られた電子部品の姿勢に対する各認識結果と、電子部品実装機に記憶した前記電子部品の幾何特徴とを照合して、前記許容範囲に入った中の前記記憶した前記電子部品の幾何特徴に最も近い認識結果に基づいて、電子部品の実装位置の情報に修正を加えて基板に電子部品を実装する電子部品実装方法。Taking out the electronic component from the electronic component supply position, recognizing the taken-out posture of the electronic component, and mounting the electronic component on the board based on the recognized result, the electronic component taken out from the electronic component supply position is a camera. Obtained by the plurality of attitude detection algorithms when selecting an algorithm having a recognized recognition result from a plurality of recognition results. Each recognition result for the posture of the electronic component is compared with the geometric feature of the electronic component stored in the electronic component mounter, and the closest recognition to the stored geometric feature of the electronic component that is within the allowable range An electronic component mounting method for mounting an electronic component on a substrate by modifying information on the mounting position of the electronic component based on the result. 複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品の面積値と、姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値とを照合して、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値の少なくとも一つが前記電子部品の外形寸法から得られた電子部品の面積値の許容範囲に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品の面積値に最も近い認識結果を選択する請求項1に記載の電子部品実装方法。 When selecting one recognition result from a plurality of recognition results, the area value of the electronic component obtained from the stored external dimensions of the electronic component, and the area value of the electronic component obtained from the recognition result of the attitude detection algorithm When at least one of the area values of the electronic component obtained from the recognition result of the attitude detection algorithm falls within the allowable range of the area value of the electronic component obtained from the external dimension of the electronic component, The electronic component mounting method according to claim 1 , wherein a recognition result closest to an area value of the electronic component obtained from the stored external dimension of the electronic component within the allowable range is selected . 複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さと、姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さとを照合して、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さの少なくとも一つが前記電子部品の外形寸法から得られた電子部品外形を構成する直線の長さの許容値内に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さに最も近い認識結果を選択する請求項1に記載の電子部品実装方法。When selecting one recognition result from a plurality of recognition results, the electronic part obtained from the recognition result of the attitude detection algorithm and the length of the straight line constituting the electronic part outer shape obtained from the stored outer dimension of the electronic component An electronic device in which at least one of the lengths of the straight lines constituting the outer shape of the electronic component obtained from the recognition result of the posture detection algorithm is compared with the length of the straight line constituting the outer shape from the outer dimensions of the electronic component. When the length of the straight line constituting the component outer shape falls within the allowable value, the length of the straight line constituting the electronic component outer shape obtained from the stored outer dimension of the electronic component within the allowable range is obtained. The electronic component mounting method according to claim 1 , wherein the closest recognition result is selected . 電子部品供給位置から電子部品を取り出し、電子部品の取り出された姿勢を検出し、検出した結果に基づき電子部品を基板上に実装する電子部品実装機において、電子部品供給位置から取り出された前記電子部品をカメラ(102)で撮像し、その撮像による画像データを複数の姿勢検出用アルゴリズムで処理し、その撮像による画像データから複数の姿勢検出用アルゴリズムで処理し、複数の認識結果から一つの認識結果を選択するとき、複数の姿勢検出用アルゴリズムにより得られた電子部品の姿勢に対する各認識結果と、前記電子部品実装機に記憶した前記電子部品の幾何特徴とを照合して、前記許容範囲に入った中の前記記憶した前記電子部品の幾何特徴に最も近い認識結果に基づいて、電子部品の実装位置の情報に修正を加えて前記基板に前記電子部品を実装するようにした制御部(100)を備えることを特徴とする電子部品実装機。 In the electronic component mounting machine for taking out the electronic component from the electronic component supply position, detecting the attitude of the electronic component taken out, and mounting the electronic component on the board based on the detected result, the electronic taken out from the electronic component supply position The part is imaged by the camera (102), the image data obtained by the imaging is processed by a plurality of attitude detection algorithms, the image data by the imaging is processed by a plurality of attitude detection algorithms, and one recognition is performed from a plurality of recognition results. When selecting a result, each recognition result for the posture of the electronic component obtained by a plurality of posture detection algorithms is collated with the geometric feature of the electronic component stored in the electronic component mounter, and the allowable range is set. Based on the recognition result closest to the stored geometric feature of the stored electronic component, the information on the mounting position of the electronic component is modified before Electronic component mounting apparatus, characterized in that it comprises control unit which is adapted to implement the electronic components on a substrate (100). 制御部は、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品の面積値と、姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値とを照合することにより、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品の面積値の少なくとも一つが前記電子部品の外形寸法から得られた電子部品の面積値の許容範囲に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品の面積値に最も近い認識結果を選択するようにした請求項4に記載の電子部品実装機。 When the control unit selects one recognition result from a plurality of recognition results, the electronic component area value obtained from the stored external dimension of the electronic component and the electronic component obtained from the recognition result of the attitude detection algorithm By comparing with the area value of the electronic component, at least one of the area values of the electronic component obtained from the recognition result of the attitude detection algorithm is within an allowable range of the area value of the electronic component obtained from the external dimension of the electronic component. The electronic component mounting according to claim 4, wherein when it enters, the recognition result closest to the area value of the electronic component obtained from the stored external dimension of the electronic component that falls within the allowable range is selected. Machine. 制御部は、複数の認識結果から一つの認識結果を選択するとき、前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さと、姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さとを照合することにより、前記姿勢検出用アルゴリズムの認識結果から得られた電子部品外形を構成する直線の長さの少なくとも一つが前記電子部品の外形寸法から得られた電子部品外形を構成する直線の長さの許容値内に入った場合に、前記許容範囲に入った中の前記記憶した電子部品の外形寸法から得られた電子部品外形を構成する直線の長さに最も近い認識結果を選択するようにした請求項4に記載の電子部品実装機。When the control unit selects one recognition result from a plurality of recognition results, the control unit obtains the length of the straight line constituting the electronic component outline obtained from the stored external dimension of the electronic component and the recognition result of the attitude detection algorithm. The length of the straight line constituting the electronic component outer shape obtained from the recognition result of the posture detection algorithm is collated with the length of the straight line constituting the obtained electronic component outer shape, so that the outer dimension of the electronic component is If the length of the straight line constituting the outer shape of the electronic component obtained from the above is within the allowable value, the outer shape of the electronic component obtained from the stored outer size of the electronic component within the allowable range is configured. 5. The electronic component mounting machine according to claim 4 , wherein the recognition result closest to the length of the straight line is selected .
JP10068797A 1996-04-18 1997-04-18 Electronic component mounting method and electronic component mounting machine Expired - Fee Related JP3753500B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10068797A JP3753500B2 (en) 1996-04-18 1997-04-18 Electronic component mounting method and electronic component mounting machine

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-95770 1996-04-18
JP9577096 1996-04-18
JP10068797A JP3753500B2 (en) 1996-04-18 1997-04-18 Electronic component mounting method and electronic component mounting machine

Publications (2)

Publication Number Publication Date
JPH1041699A JPH1041699A (en) 1998-02-13
JP3753500B2 true JP3753500B2 (en) 2006-03-08

Family

ID=26436957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10068797A Expired - Fee Related JP3753500B2 (en) 1996-04-18 1997-04-18 Electronic component mounting method and electronic component mounting machine

Country Status (1)

Country Link
JP (1) JP3753500B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662143A (en) * 2012-04-24 2012-09-12 合肥工业大学 Method for visually selecting device under test in circuit test

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4424845B2 (en) 1999-12-20 2010-03-03 本田 正 Image data compression method and decompression method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662143A (en) * 2012-04-24 2012-09-12 合肥工业大学 Method for visually selecting device under test in circuit test

Also Published As

Publication number Publication date
JPH1041699A (en) 1998-02-13

Similar Documents

Publication Publication Date Title
US4803735A (en) Method and apparatus for calculating position and orientation by combination of features of partial shapes
US11386546B2 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
US7355725B2 (en) Measuring system
JPH06175715A (en) Visual sensor coordinate system setting jig and setting method therefor
JP3753500B2 (en) Electronic component mounting method and electronic component mounting machine
JP3974445B2 (en) Mark recognition method and apparatus
US6584683B2 (en) Mounting electronic component method and apparatus
EP0894423B1 (en) Mounting electronic component method and apparatus
JP4707607B2 (en) Image acquisition method for component recognition data creation and component mounter
JP4106301B2 (en) Component recognition method and apparatus
JP2005116869A (en) Reference mark position detector and reference mark position detection program
JP4566686B2 (en) Method and apparatus for determining shape of object
JP4757701B2 (en) Electronic component suction position correction method and apparatus
JP2001174221A (en) Method and device for detecting position of component
JP2008151607A (en) Method and apparatus for positioning mark using template matching
JPH0786722A (en) Automatic pattern corrector
JPH095022A (en) Pattern position detecting method and apparatus by image recognition
JP2974794B2 (en) Multi-view recognition method for polygonal parts
JP2007059546A (en) Method and device for positioning part
JP2006234793A (en) Part position detecting method and device
US7724940B2 (en) Method of accurately determining similarity between target image and reference image
JP4008722B2 (en) Method and apparatus for detecting floating electrode of electronic component
JP2004273578A (en) Electronic component mounting method and equipment thereof
JP2002216130A (en) Image recognizing method, image recognizing device and parts mounting device
JPH09167232A (en) Segment extraction method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051017

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees