JP2006100677A - 部品実装状態の検査方法およびその方法を用いた部品実装検査装置 - Google Patents

部品実装状態の検査方法およびその方法を用いた部品実装検査装置 Download PDF

Info

Publication number
JP2006100677A
JP2006100677A JP2004286668A JP2004286668A JP2006100677A JP 2006100677 A JP2006100677 A JP 2006100677A JP 2004286668 A JP2004286668 A JP 2004286668A JP 2004286668 A JP2004286668 A JP 2004286668A JP 2006100677 A JP2006100677 A JP 2006100677A
Authority
JP
Japan
Prior art keywords
component
image
inspection
mounting
board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004286668A
Other languages
English (en)
Other versions
JP4026636B2 (ja
Inventor
Kiyoshi Murakami
清 村上
Masato Ishibane
正人 石羽
Atsushi Kuriyama
淳 栗山
Teruhisa Yotsuya
輝久 四ッ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2004286668A priority Critical patent/JP4026636B2/ja
Publication of JP2006100677A publication Critical patent/JP2006100677A/ja
Application granted granted Critical
Publication of JP4026636B2 publication Critical patent/JP4026636B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】 部品の実装状態の適否を判別する作業を効率良く行えるようにする。
【解決手段】 部品の補充や段取り替え直後のマウンタで作成された基板を検査対象として、その基板を撮像し、作成された処理対象画像31や基板のマップ画像32を含む検査画面30を表示する。処理対象画像31上の部品を選択する操作が行われると、選択された部品をマーク311により着目表示するとともに、この部品に対応する実装情報(実装位置、方向、品番など)を見本画像36とともに表示する。さらに、見本画像36の下方には、実装状態判定用のチェック欄37を表示する。次の部品を選択する操作が行われると、その時点でのチェック欄37に対する入力状態を反映した判定結果をメモリに保存した後、着目対象を他の部品に切り替える。
【選択図】 図2

Description

この発明は、複数の部品が実装されたプリント基板(以下、「部品実装基板」または単に「基板」という。)を検査対象として、各部品の実装状態が正しいかどうかの検査を行う方法および装置に関する。
部品実装工程を自動化するために、従来より「マウンタ」と呼ばれる部品実装機が使用されている。このマウンタの制御部には、あらかじめ、基板上のどの位置にどの部品をどのような向きで実装するかを示すデータ(一般に、「マウントデータ」と呼ばれている。)が登録されている。また、マウンタの本体部の近傍位置には、「フィーダ」と呼ばれる部品供給装置が複数設置される。制御部は、前記マウントデータに基づき部品実装用のヘッド部を制御して、各実装位置に対応するフィーダから部品を取り出した後、この部品を該当する実装位置に設置するようにしている。
上記のマウンタによれば、部品が高密度に実装された基板を製作する際にも、自動的に短時間で部品実装作業を完了することができる。しかしながら、各フィーダに部品を補充したり、製作する基板の変更に伴ってフィーダ内の部品を交換する処理(一般に、「段取り替え」と呼ばれている。)は、人手により行われる。このため、係員がフィーダに誤った部品を供給すると、以後の基板には正しい部品を供給できなくなる。また、フィーダにセットする際の部品の向きに誤りがあると、以後の基板では、その部品を正しい方向に向けて実装できない状態となる。
このような事情に鑑み、現場では、部品補充や段取り替えの都度、部品実装基板を試作し、各部品が設計どおりに実装されているかどうかをチェックするようにしている。
上記の試作品を用いたチェックは、係員が、試作された基板上の各部品を1つ1つ設計図面と照合する方法により行われる。近年の基板には、極小部品が高密度で実装されているため、上記のチェック作業は、根気を必要とし、また時間のかかる作業となる。しかも、この作業は、部品補充や段取り替えが行われる都度、行わなければならないので、マウンタによる組立作業が中断する期間が長くなり、効率が悪いという問題がある。
また従来の現場では、チェック後の実装工程で不良基板が発生した場合などに、チェック作業が十分な注意をもって行われたかどうかを確認する目的から、試作した基板を保管するようにしている。しかし、このような方法では、試作されたすべての基板を保管しなければならず、出荷できる基板を無駄にしてしまう。また、基板を保管するためのスペースを確保しなければならない、という問題も生じる。
この発明は、上記の問題点に着目してなされたもので、基板上の部品の実装状態の適否を判別する作業を効率良く行えるようにすることを目的とする。
また、この発明では、上記の適否判別に使用した基板を保管する必要をなくすことにより、基板製造工程で資源の無駄が生じるのを防止することを、第2の目的とする。
この発明にかかる部品実装状態の検査方法では、検査対象となる基板上の各部品につき、それぞれ少なくとも実装位置、実装方向、および部品の識別情報をあらかじめメモリ装置に登録する。
これらの情報のうち、実装位置や実装方向は、CADデータなどの基板の設計データを用いて作成することができる。または、設計データそのものを使用することもできる。また、部品の識別情報として、部品品番や部品種の名称などを登録することができるが、部品の見本画像を識別情報とするのがより望ましい。なお、部品毎の登録情報を、基板毎の検査データファイルまたは基板設計データファイル(CADデータファイル)として編集した上で、前記メモリ装置に格納することができる。また、部品の見本画像は、部品を上方から見た2次元画像に限らず、3次元のイメージ画像とすることもできる。
上記のメモリ装置は、ハードディスクやフラッシュメモリのような不揮発性のメモリ装置であるのが望ましい。ただし、必ずしも固定配備されたメモリ装置である必要はなく、ディジタルビデオディスク(DVD)、光磁気ディスク(MO)などのリムーバブル媒体をメモリ装置として使用してもよい。また、複数種のメモリ装置に格納された登録情報を組み合わせて使用してもよい。
上記の検査方法では、前記メモリ装置に接続されたコンピュータによって次のような処理を実行する。まず、検査対象の基板を撮像して得られた画像を入力してモニタ装置に表示するとともに、前記基板上の一部品にかかる登録情報を前記メモリ装置から読み出すステップA;前記基板の画像において、ステップAで読み出した登録情報に対応する部品に着目表示を施すステップB;前記ステップAで読み出した登録情報を実装状態判定用のチェック欄とともに前記基板の画像表示と同じ画面上に表示するステップC;の各ステップを繰り返し実行する。さらに、前記チェック欄に対する入力状態に基づき各部品の実装状態の適否を認識して、その認識結果を出力する。
上記のステップBでは、たとえば、着目対象の部品上にカーソルを表示したり、部品の周囲を囲む矩形枠を表示するなど、他の部品から明確に区別できる態様の表示を行うことができる。なお、この着目表示は、ステップAで読み出された情報中の実装位置に基づいて行うことができる。また、1枚の基板を複数の撮像対象領域に分割して撮像する場合、表示中の基板の画像にステップAで読み出された実装位置に該当する部品が存在しない場合には、その部品を含む撮像対象領域の画像に表示を切り替えることができる。なお、各撮像対象領域の画像は、表示の都度、入力しても良いが、あらかじめ全ての領域にかかる画像を入力してメモリに保存しておき、必要に応じて表示を切り替えるようにしてもよい。
ステップCでは、前記ステップAで読み出した登録情報を実装状態判定用のチェック欄とともに前記画像表示がなされた画面上に表示する。上記のチェック欄は、着目表示中の部品の実装状態を判定した結果を入力するためのユーザーインターフェースであると考えることができる。このチェック欄には、たとえば、実装されている部品の種類、実装位置、実装方向について、それぞれ「良」および「不良」のチェックボックスを設けることができる。ただし、必ずしも、「良」「不良」のチェックボックスを設ける必要はなく、どちらか一方のチェックボックスのみを設けてもよい。また、実装方向については、良否の判定結果のみならず、具体的な実装方向を入力できるようにするのが望ましい。
各部品の実装状態の認識結果を出力する処理では、少なくとも実装不良と認識された部品について、前記チェック欄に対する入力に基づいて、不良の具体的な内容を出力するのが望ましい。さらに、良判定の部品と不良判定の部品とを異なる態様でプロットした基板のマップ画像を作成し、これをモニタ装置に表示するようにすれば、基板上のどの部品が実装不良であるかを容易に把握することができる。
基板の画像は、複数の領域に分けて取得したり、拡大表示することが可能であるから、極小部品であっても、その部品の色彩や形状を確認することができる。上記の検査方法によれば、基板の画像表示と同じ画面上に各部品の登録情報を順に呼び出しながら、その登録情報と部品の実際の画像とを見比べることができるから、部品の取り違え、位置ずれ、実装方向の誤りなどを、容易にチェックすることができる。さらに、部品の識別情報として前記した見本画像を登録しておけば、その見本画像と実際の画像とを照合することにより、チェック作業をより効率良く行うことができる。特に、パッケージ上に品番名を印字できないような小さな部品については、見本画像との照合により、実装部品が正しいかどうかを容易に確認することができる。
なお、ステップAでの情報の読み出しは自動的に行っても良いが、たとえば、基板の画像上での位置指定操作(たとえば、マウスによるクリック操作)を受け付けて、その指定位置に実装位置が最も近い部品の登録情報を読み出すようにしてもよい。この場合、画面上の所定の部品を指定する操作に応じて、その部品に着目表示を合わせ、その部品にかかる登録情報を表示することができる。また、上記の方法で最初の部品を指定した後は、基板上の同種の部品を選択する操作に応じて、その同種の部品にかかる登録情報を読み出すようにしてもよい。
上記の部品実装状態の検査方法は、マウンタによる部品実装工程を経た基板に対して実施できるほか、この工程後にリフロー炉ではんだ付けされた基板に対しても実施することができる。いずれの工程についても、マウンタやリフロー炉を本格稼働させる前に部品の実装状態を目視で確認することができる。よって、人為ミスや装置のトラブルによって実装状態に不備が生じている場合には、その不備を解消してから本格稼働を開始することができ、大量の不良基板が発生するのを防ぐことができる。
なお、下記の特許文献1には、基板上の不良と判定された部品について、その検査の結果を実際の部品の画像やその部品の基板上の位置を示すレイアウト図とともに表示することが記載されている。
特許3273401号 公報
しかしながら、上記特許文献1に記載の表示画面は、不良部位を修正するための参照情報として表示されるものであり、事前に不良判定がなされた部品に対して実行されるものである。これに対し、この発明では、良/不良が明らかでない基板を対象として、ステップA,B,Cを繰り返し実行することにより、各部品の実装状態の適否を順に効率良く判定するようにしており、特許文献1とは解決しようとする課題が異なる。また、特許文献1でも、基板の画像表示と同じ画面上にコマンドメニューを表示して、入力を受け付けるようにしているが、このメニューは、既に設定された不良コードを削除または修正するためのもので、この発明のように、判定結果をチェック方式で入力させるようには構成されていない。
この発明にかかる部品実装検査装置は、検査対象となる基板上の各部品について、それぞれ少なくとも実装位置、実装方向、および部品の識別情報が登録された登録手段と、検査対象の基板の画像を入力する画像入力手段と、部品実装状態の判定結果を入力するための入力手段と、実装状態判定用の入力を受け付けるためのチェック欄を含む検査画面をモニタ装置に表示させるための表示制御手段と、部品実装状態の適否を示す情報を出力する出力手段とを具備する。前記表示制御手段は、前記画像入力手段が入力した基板の画像を前記モニタ装置に表示するとともに、前記したステップA,B,Cを繰り返し実行する。また出力手段は、前記チェック欄に対する入力状態に応じて各部品の実装状態の適否を認識し、その認識結果を出力する。
上記において、登録手段は、ハードディスクなどの不揮発性のメモリ装置(リムーバブル媒体を含む。)により構成することができる。なお、部品の識別情報に見本画像(前記した3次元イメージ画像を含む。)を含める場合には、別途、部品種毎の見本画像をライブラリデータとして登録しておき、検査対象の基板上の各部品にそれぞれ該当するライブラリデータへのリンク情報を設定することができる。
画像入力手段は、カメラ用のインターフェース回路として構成するのが望ましいが、これに限らず、外部機器からの送信画像を入力する通信用のインターフェース回路やディジタルビデオディスク(DVD)、光磁気ディスク(MO)などの記憶媒体に格納された検査対象画像を読み出すためのドライブ装置として構成することもできる。入力手段は、マウス,キーボードなどの入力用機器と、これらの機器に対応するインターフェース回路により構成することができる。
表示制御手段は、表示用画面の作成機能が設定されたコンピュータにより構成することができる。このコンピュータには、前記ステップA,B,Cを実行するためのプログラムなどが組み込まれており、登録手段から各部品の登録情報を順に読み出しながら、その情報に対応する部品がマーキング表示された基板の画像、読み出した登録情報、および前記チェック欄を含む検査用画面をモニタ装置に表示することができる。なお、モニタ装置は、部品実装検査装置に外付けしてもよいし、装置本体に一体に設けてもよい。
前記出力手段は、チェック欄に対する操作内容を認識する機能や、その認識結果を電子情報に編集する機能が設定されたコンピュータにより構成することができる。
好ましい態様にかかる出力手段は、各部品の実装位置にそれぞれその部品に対する判定結果をマーキングした基板のマップ画像を作成して、前記モニタ装置に表示する。このマップ画像として、たとえば、各部品を模式した矩形を各部品の実装位置および実装方向に応じて配置するとともに、良判定の部品と不良判定の部品とを、それぞれ異なる色彩で表した画像を作成とすることができる。
さらに、出力手段は、必要に応じて、不良と判定された部品にかかる判定結果を表示したり、実装方向の詳細な判定結果を表示することもできる。また、出力の態様は表示に限らず、電子データとして、プリンタや外部機器などに出力することもできる。
部品実装検査装置のさらに好ましい態様においては、前記画像入力手段、入力手段、表示制御手段、出力手段の各手段による処理が行われる都度、その処理が行われた日時と出力手段が出力した情報の内容とを対応づけた検査結果情報を作成する検査結果情報作成手段と、この検査結果情報を蓄積する記憶手段とを、さらに具備する。検査結果情報作成手段は、前記表示制御手段や出力手段と同じコンピュータに設定することができる。また記憶手段は、前記登録手段と同一のメモリ装置に組み込むことができる。なお、この態様においては、検査に先立ち、検査担当者の識別情報(パスワードなど)の入力を受け付け、検査結果情報にも、前記担当者の識別情報を含めるようにするのが望ましい。
上記の態様によれば、部品の実装状態を検査する都度、その検査を実行した日時や検査結果がメモリ装置内に蓄積される。よって、検査に使用した基板を品質管理のために保管する必要がなくなり、実装状態が良好な基板を無駄にするのを防ぐことができる。
上記の部品実装検査装置は、マウンタやリフロー炉を本格的に稼働させる前に、各部品の実装状態をチェックする用途で使用することができる。
また、この部品実装検査装置は、目視検査専用の装置として構成することもできるが、これに限らず、自動検査用の装置内に組み込むことができる。この場合、この発明にかかる検査装置の機能を用いて各部品の実装状態が適切であることを確認した上で、マウンタまたはリフロー炉を本格稼動し、工程実行後の基板を自動検査することにより、基板の製造および検査を効率良く実行することができる。
この発明によれば、基板上の各部品の実装状態を目視によりチェックする作業において、実際の部品の画像とその部品の実装情報とをモニタ画面に順に表示しながら、同じ画面上のチェック欄を用いて実装状態の判定結果を入力するので、個々の部品の実装状態を効率良くかつ正確に判断することが可能となる。よって、チェック作業にかかる作業員の負荷を軽減するとともに、チェックの精度を向上することができる。
さらにこの発明では、上記の検査を実行する都度、その検査結果情報を作成して保存するようにしたので、検査に使用した基板を保管しておかなくとも、過去の検査結果を確認することが可能となる。よって、この発明にかかる検査に使用した基板であっても、良判定がなされた基板であれば、出荷することが可能となり、資源が無駄になるのを回避することができる。
図1は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板1を撮像して得た画像を処理して、前記基板上の部品の実装状態やはんだ付けの適否などを自動判別する機能を具備するもので、撮像部3,投光部4,制御処理部5,X軸テーブル部6,Y軸テーブル部7などにより構成される。
前記Y軸テーブル部7は、前記基板1を支持するコンベヤ7Aを具備し、図示しないモータによりこのコンベヤ7Aを動かして、前記基板1をY軸方向に(図の紙面に直交する方向)に沿って移動させる。前記X軸テーブル部6は、Y軸テーブル部7の上方で撮像部3および投光部4を支持しつつ、これらをX軸方向(図の左右方向)に移動させる。
前記投光部4は、異なる径を有する3個の円環状光源8,9,10により構成される。これらの光源8,9,10は、それぞれ赤色(R)、緑色(G)、青色(B)の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板1から見て、異なる仰角に対応する方向に位置するように配備される。
前記撮像部3は、カラー画像生成用のCCDカメラを含むもので、その光軸が各光源8,9,10の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板1からの反射光が撮像部3に入射し、三原色のカラー信号R,G,Bに変換されて制御処理部5へ入力される。
制御処理部5は、CPUを含むコンピュータを制御部11として、画像入力部12、メモリ13、撮像コントローラ14、画像処理部15、照明制御部16、XYテーブルコントローラ17、検査部18、検査データ記憶部19、CADデータ記憶部20、入力部21、CRT表示部22、プリンタ23、送受信部24、外部メモリ装置25などを構成として含む。
画像入力部12は、撮像部3からのR,G,Bの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのA/D変換回路などを備える。メモリ13には、各色彩毎のディジタル濃淡画像データのほか、これら濃淡画像を処理して得られる2値画像データや色相データなどが格納される。また、このメモリ13には、後記する検査データ記憶部19から読み出された検査データや検査結果情報なども格納される。
撮像コントローラ14は、撮像部3を制御部11に接続するインターフェースなどを備えるもので、制御部11からの命令に基づいて前記撮像部3を駆動したり、各色彩光の出力レベルを調整するなどの制御を行う。照明制御部16は、投光部4の各光源の光量を調整するためのものである。なお、この実施例では、赤、緑、青の各色彩光が混合されることによって白色照明が施されるように、各光源8,9,10の光量を調整するようにしている。
XYテーブルコントローラ17は、前記X軸テーブル部6およびY軸テーブル部7を制御部11に接続するインターフェースなどを含み、制御部11からの指令に基づき、X軸テーブル部6およびY軸テーブル部7の移動動作を制御する。
検査データ記憶部19は、基板の検査データを記憶するための記憶部である。なお、この検査データは1枚の基板毎にファイル化され、そのファイル内に、基板上の各部品にかかる検査データが格納される。個々の部品毎の検査データにも、複数種のデータが含まれる。この実施例では、部品毎に、部品品番、部品名、実装位置、実装方向の各情報から成る部品実装情報を設定する。前記検査データには、部品実装情報のほか、部品の見本画像を呼び出すためのリンク情報、検査領域の設定データ、検査領域で実行されるプログラムの種類、実行される画像処理に応じたパラメータ(たとえば2値化処理のためのしきい値、エッジ抽出のためのフィルタなど)、抽出された特徴量の適否を判別するための判定基準値などが含められる。
なお、基板を複数の撮像対象領域に分けて撮像する場合には、前記撮像部3の視野を各撮像対象領域に合わせるのに必要な設定データ(XYテーブル部6,7の座標など)が検査データファイルに格納される。
さらに検査データ記憶部19には、各種基板の検査データファイルのほか、各部品の標準的な検査データが登録された部品ライブラリが登録されている。前記見本画像は、この部品ライブラリ内に保存されている。前記検査データのうち、部品実装情報については、原則としてCADデータから抽出されるが、その他の検査データは、部品ライブラリから抽出、または良品基板の画像を用いて、係員により教示される。
CADデータ記憶部20は、種々の基板のCADデータを記憶するための記憶部である。ここに登録されるCADデータは、前記検査データの作成に使用されるほか、後記する目視による部品実装検査を実施する際に使用することができる。
前記制御部11は、被検査基板1の基板名の入力を受け付けた後、前記検査データ記憶部19からその被検査基板1に対応する検査データファイルを読み出してメモリ13にセットする。画像処理部15や検査部18は、この読み出されたファイル内の検査データに基づき処理を実行する。
画像処理部15は、検査時に、メモリ13に格納されたR,G,Bの各階調によるカラー画像を処理して、被検査部位の特徴部分を抽出する。さらに画像処理部15は、この特徴部分について、重心位置、面積などの特徴量を算出する。検査部18は、算出された特徴量を対応する検査データと比較することにより、被検査部位の適否を判別する。
制御部11は、検査部18における各種判別処理の結果を総合して被検査基板1Tが良品か否かを判定する。この最終的な判定結果は、CRT表示部22やプリンタ23,あるいは送受信部24に出力される。
前記入力部21は、検査のための各種条件や検査情報などを入力するためのもので、キーボードやマウスなどにより構成される。またこの入力部21は、後記する目視検査において判定結果を入力する目的でも使用される。
CRT表示部22(以下、単に「表示部22」という。)は、制御部11から画像データ、検査結果などの供給を受けて、これらを表示画面上に表示する。またプリンタ23は、制御部11から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。
送受信部24は、他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板1Tについて、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置25は、フレキシブルディスク、CD−R、光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。
なお、上記構成において、画像処理部15および検査部18は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも専用のプロセッサを設ける必要はなく、制御部11に画像処理部15および検査部18の機能を付与するようにしてもよい。また、前記検査データ記憶部19、CADデータ記憶部20は、それぞれハードディスクのような不揮発性のメモリ装置内に設定することができる。さらに、これらの記憶部19,20を、同一のメモリ装置に設定することもできる。
上記構成の基板検査装置において、マウンタによる部品実装工程を経た基板の部品の実装状態を検査する場合には、検査対象画像を前記見本画像により照合するなどして、前記検査対象画像上の部品を抽出し、抽出された部品の位置や方向を前記部品実装情報と照合する。なお、前記見本画像による照合処理で部品が抽出されなかった場合には、部品が欠落していると判断される。
また、はんだ付け後の基板を検査対象として、そのはんだ付け状態を検査する場合には、前記投光部4の光源の配置を利用して、基板のはんだ付け部位からの鏡面反射光を捉えた画像を作成し、各検査領域内の色彩の分布パターンを検査データ中のモデルデータと照合する処理を実行する。
このように、この実施例の基板検査装置は、検査データ記憶部19に登録された検査データを用いて部品の実装状態やはんだ付け状態を自動検査することができる。これに加えて、この実施例の基板検査装置は、特定の基板を検査対象として、その基板上に部品が正しく搭載されているか否かを目視により検査する用途にも使用される。
上記の目視検査は、主に、マウンタの段取り替えが行われた際に、その段取り替え後に最初に作成された基板を用いて実行される。この検査では、実際の部品の画像を部品実装情報や見本画像とともに表示し、その表示画面上で部品の実装状態を判別した結果の入力を受け付ける。この入力が終了すると、各部品に対する入力データを用いて検査結果データを編集し、これを表示部22に表示したり、メモリ13に保存するようにしている。
前記したように、この実施例の基板検査装置には、部品の実装状態を自動検査する機能が設定されているから、部品補充や段取り替え後の検査も、この自動検査機能を用いて行うことが可能なはずである。にもかかわらず、目視による検査を行うのは、マウンタを本格稼働させる前の検査であるため、部品の取り違えがないかどうかを人の目により入念にチェックするのが望ましいという理由による。近年の基板では、極小部品が高密度で実装されているが、これらの極小部品には、従来のようにパッケージに品番名を印字するのが困難であるため、部品の色や形状から部品種を判断する必要がある。自動検査において、似た色彩や形状の部品を誤判別しないようにするには、色彩抽出のための条件や検査基準を複雑にする必要があるが、そのような設定は非常に困難であり、むしろ人の目で確認する方が確実である。
なお、最初に製作された基板に対して厳重なチェックを行えば、以後は、部品補充や段取り替えが行われるまで、各実装位置に正しい部品が供給されるはず、という前提に立って検査を実行することができる。したがって、部品の成否判別について高い精度を求めなくとも良くなり、自動検査でも対応することができる。このように、初回の部品実装検査を目視検査とする一方で、本格稼働後の部品実装検査を自動で行うことにより、検査を効率良く、かつ高い精度で実行することが可能となり、基板の品質を高めることができる。
上記のほか、品質管理の点から検査結果を通常の検査とは別にして管理する必要があること、まだ検査データが登録されていない新規の基板を作成する際に速やかに対応できるようにすることなども、目視検査を行う理由となる。この実施例では、これらの理由を考慮して、正確かつ効率良く検査を進められるように工夫するとともに、必要に応じて過去の検査結果を確認できるように、検査の結果をメモリ13に蓄積するようにしている。
図2は、前記目視検査用の検査画面の一例を示す。
この実施例では、被検査基板1を複数の撮像対象領域に分けて撮像しており、検査画面30には、撮像部3から入力された基板の画像31(以下、「処理対象画像31」という。)とともに、基板全体のマップ画像32が表示される。マップ画像32は、部品を模式した複数の矩形321を各部品の配置状態に合わせて配置した構成のもので、表示中の処理対象画像に対応する領域322が太枠で囲まれている。
目視検査モードに入った直後の検査画面には、図2(1)に示すように、処理対象画像31およびマップ画像32のみが表示される。検査が開始されると、図2(2)に示すように、表示情報が付加されるとともに、前記処理対象画像31上の各部品にマークが付けられる。この例では、チェック対象の部品に、着目中であることを示す×マーク311を付ける一方、既にチェックを終えた部品には○マーク312を付けている。また、未チェックの部品には、前記マーク311とは異なる色彩による×マーク313を付ける。
つぎに、検査画面30に付加される情報について説明する。
この実施例では、処理対象画像の右隣に3つの表示欄33,34,35を縦並びに設定し、1番目の表示欄33に実装位置および実装方向を、2番目の表示欄34に部品品番を、3番目の表示欄35に部品名を、それぞれ表示する。これらの表示欄33〜35内の情報は、前記部品実装情報から導き出されたものである。なお、実装位置は、部品の中心点のX,Y座標により表される。また実装方向は、部品の主軸がX軸に対してなす角度θにより表される。
さらに、表示欄35の下方には、前記部品の見本画像36が表示され、その下にチェック欄37が設定される。このチェック欄37には、実装、品番、方向の3つの項目にかかる複数のチェックボックス371〜374が設けられる。さらに、チェック欄37の下方には、次の部品を選択するための選択ボタン38や、次の部品として同一品番の部品を指定するためのチェックボックス39(以下、「同一品番選択ボックス39」という。)が設けられる。
前記チェック欄37の各チェックボックスのうち、「実装」のチェックボックス371は、着目中の部品の位置が前記表示欄33に表示された実装位置に適合している場合に操作される。「品番」のチェックボックス372は、着目中の部品が前記表示欄34の品番に該当する場合に操作される。なお、前記処理対象画像31上の×マーク311は、部品実装位置に対応する位置に表示されるので、チェック者は、このマークと部品との位置関係から部品実装位置の適否を容易に判別することができる。
部品の実装方向については、「方向違い」のチェックボックス373のほか、「上」「下」「左」「右」をそれぞれ指定する4つのチェックボックス374が設定される。チェックボックス373は、着目中の部品の方向が正しくない場合に操作される。一方、チェックボックス374は、チェック者が認識した部品の方向を入力するためのもので、方向の適否に関わらず操作される。このようなチェックボックス374を設定したのは、チェック者が部品の方向を正しく認識しておらず、方向が正しいのに「方向違い」と判定したり、方向が間違っているのに「方向違いなし」と判定した場合に対処するためである。
なお、判定の際の部品の方向は、見本画像36を基準にして判断される。この例では、処理対象画像31上の部品が見本画像36と同じ方向を向いている場合には「上」をチェックし、見本画像36と上下反転している場合には「下」をチェックする。また、見本画像36に対し、部品が時計回り方向に90度回転している場合には「右」をチェックし、反時計回り方向に90度回転している場合には「左」をチェックする。また、部品が真上や真横を向かずに、所定角度傾いた状態にある場合には、「上」と「右」など、部品の方向に応じて2つのチェックボックス374を操作する。
ただし、この例では、上下、左右が対称な形状の部品(チップ部品など)については、特に方向を入力しなくともよいものとしている。
図3および図4は、前記目視による部品実装検査時の制御処理部の処理手順を示す。以下、これらの図に示す流れに沿って、検査の詳細な処理を説明する。
この検査の手順は、装置の動作モードを目視検査モードに切り替える操作が行われたことに応じてスタートする。最初のST1(STは「ステップ」の略である。以下も同じ。)では、表示部22にログイン画面を表示して、パスワード等の入力を受け付ける。つぎのST2では、前記ST1での入力に基づいてログインしたユーザー名を認識し、そのユーザー名をチェック者名としてメモリ13に保存する。
ST3では、検査対象の基板名の入力を受け付け、これをメモリ13に保存する。つぎのST4では、入力された基板名に基づき、検査データ記憶部19に検査対象の基板の検査データが保存されているかどうかをチェックする。ここで検査データが保存されている場合には、ST5に進み、該当する検査データから各部品の部品実装情報を読み出す。さらに、ST6では、各部品に設定されたリンク情報に基づき、前記部品ライブラリから各部品の見本画像を読み出す。なお、ST5,6で読み出された情報も、メモリ13に一時保存される。
前記ST4において、検査対象の基板に対応する検査データが保存されていないと判断した場合には、ST7に進み、この基板に対応するCADデータが前記CADデータ記憶部20に保存されているかどうかを判別する。このST7が「YES」であれば、ST9に進み、該当するCADデータから各部品の部品実装情報を読み出し、前記メモリ13に保存する。
一方、新規の基板を検査する場合や、複数台のマウンタで実装工程を分担し、そのうちの1台のマウンタによる処理後基板を検査する場合などには、その基板に対応するCADデータが保存されていないことがある。このような場合には、ST8に進み、CADデータ記憶部20以外の場所に格納されているCADデータの一覧を表示して、必要なCADデータを選択する操作を受け付ける。この後はST9に進んで、選択されたCADデータから各部品の実装情報を読み出す処理を実行する。
なお、ST8では、外部メモリ装置25にセットされた記憶媒体や、前記送受信部24を介して接続されている上位機器を、CADデータの呼び出し先とすることができる。また、CADデータを選択する際には、複数のデータファイルを選択することもできる。
ST9において、CADデータの部品実装情報が読み出されると、ST6に進む。この場合のST6では、各部品の品番情報に基づき部品ライブラリにアクセスして、対応する見本画像を読み出し、メモリ13に保存する。なお、フローチャートには明記していないが、検査データが作成されていない基板を検査対象とする場合には、該当するライブラリデータが登録されていない部品が存在する可能性がある。このような部品については、見本画像の読み出しはスキップされる。
このようにして、基板上の各部品につき、実装情報および見本画像が読み出されてメモリ13にセットされると、ST10に進み、最初の撮像対象領域を撮像する。つぎのST11では、ST10の撮像処理により得た処理対象画像31を前記マップ画像32とともに表示部22に表示する。
上記の表示がなされると、ST12では、前記処理対象画像31上で部品を選択する操作を受け付ける。この選択操作は、マウスのクリック操作として行われる。ここで画像上の所定位置がクリックされると、ST13に進み、そのクリック位置に実装位置が最も近い部品を着目部品に設定する。
ST14では、この着目部品に前記マーク311を付け、他の部品に前記マーク313を付ける。これにより、着目部品が明示されると、続くST15では、前記メモリ13から着目部品の実装情報や見本画像を読み出し、これらを前記チェック欄37とともに表示部22に表示する。
つぎのST16では、チェック欄37に対する操作を受け付ける。この処理については、詳細な手順を示していないが、チェックボックスの操作を認識するとともに、次の部品を選択する操作に応じて、その操作時点でのチェック状態を反映した判定結果を保存する。たとえば、チェックボックス371,372が操作された場合には、「実装OK」「品番OK」という判定結果が保存されるが、これらのボックス371,372が操作されずに次の部品選択が行われた場合には、それぞれ「未実装」「品番違い」などの判定結果が保存される。
前記同一品番選択ボックス39が操作されずに選択ボタン38のみが操作された場合には、ST17が「NO」となってST18に進む。このST18では、表示中の処理対象画像に対するチェック処理が終了したかどうかを判別する。ここで表示中の画像上に未処理の部品があると、ST18が「NO」となってST19に進み、未処理の部品のいずれかに着目対象を変更する。この後は新たな着目部品について、ST14〜16を実行する。なお、この場合のST14では、先の処理でチェックを終了した部品にマーク312を付ける。
以下同様にして、表示中の画像における全ての部品をチェックし終えると、ST18が「YES」となってST25に進み、すべての撮像対象領域を処理したか否かを判別する。ここで、チェック処理が実行されていない領域があれば、ST26に進み、次の撮像対象領域を撮像した後、ST12に戻る。
以下、同様にして、各撮像対象領域毎の画像が順に作成され、これらの画像上の各部品につき、実装情報、見本画像36、チェック欄37などを表示する処理や、前記チェック操作を受け付ける処理が順に実行される。
つぎに、所定の部品に対するチェック受付処理が行われた後、前記検査画面30の同一品番選択ボックス39が選択状態になっている状態下で選択ボタン38が操作されると、ST17が「YES」となってST20に進み、表示中の処理対象画像31に、直前に処理した部品と同一品番であって未処理の部品が含まれているかどうかを判別する。この判定が「YES」の場合には、ST24に進み、該当する未処理部品をつぎの着目対象に設定する。この後は、新たな着目部品について、ST14〜16を実行する。以下も同様の流れを繰り返すことにより、同じ処理対象画像に含まれる同一品番の部品を順にチェックすることができる。
処理対象画像上の同一品番の部品を全てチェックし終わると、次の選択操作に応じて、ST17が「YES」、ST20が「NO」となる。この場合には、ST21に進み、他の撮像対象領域の中に同一品番の未処理部品を含む領域があるかどうかを判別する。このST21が「YES」であれば、ST22に進み、該当する撮像対象領域に撮像部3の視野を合わせて撮像を行う。さらにST23では、新たな撮像により得た処理対象画像31をマップ画像32とともに表示する。この後は、前記したST24において、該当する部品に着目対象を移した後、ST14に戻る。
以下、同様の処理を繰り返すことにより、基板上の特定の品番にかかる部品を順にチェックすることが可能となる。これら同一品番の部品のうちの最後の部品のチェックが終了すると、ST17が「YES」、ST20が「NO」、ST21が「NO」となり、ST18に戻る。よって以後は、他の品番の部品に着目して、同様のチェック処理を進めていくことができる。
このようにして、基板上のすべての部品に対する処理を終了すると、ST25が「YES」となり、ST27に進む。ST27では、これまでにメモリ13に蓄積した部品毎の判定結果に基づいて検査結果情報を作成し、これをファイル化してメモリ13に保存するとともに、同じ検査結果情報を表示部22に出力する。これにより、表示部22の画面は、前記検査画面30から検査結果を示す画面(以下、「検査結果出力画面」という。)に切り替えられる。
この後、ST28では、ログオフ用のコマンド入力を受け付ける。これにより、検査にかかる一連の処理は終了となる。
なお、上記の手順には示していないが、この検査では、任意の時点でチェック者のキャンセル操作を受け付けて検査を中止することもできる。この場合にも、検査の履歴データが作成され、メモリ13への保存や表示が行われる。
図5は、前記ST27において、表示部22に表示される検査結果出力画面の一例を示す。この例では、図5(1)(2)の2つの画面40,41が設定されている。このうち、第1の検査結果出力画面40が初期画面であって、検査を実行した日時、検査対象の基板名、チェック担当者名、チェック処理を行った部品の数(以下、「チェック部品数」という。)などが一覧表示される。また、不良判定された部品について、登録された部品実装情報や入力された判定結果が表示される。
上記一覧表示の下方の「イメージ表示」ボタン42が操作されると、画面40は、図5(2)の第2画面41に切り替えられる。この画面41には、検査対象の基板のマップ画像43が示され、そのマップ画像43上に判別結果に応じて色分けされた部品431〜433(図2の例と同じく矩形に模式している。)が配置されている。この例では、良判定の部品431を青色で、不良判定の部品432を赤色で、それぞれ表示する。さらに部品の方向を入力した部品431については、操作されたチェックボックス374に対応する辺が黄色に着色表示される。なお、キャンセル操作など、何らかの理由によりチェックが行われなかった部品433は、白色で表示される。また、マップ画像43の下方には、元の初期画面40に表示を復帰させるための「戻る」ボタン44が設けられる。
なお、上記の検査結果出力画面40,41は、検査が終了した後も、適宜読み出して表示部22に表示することができる。図6は、この検査結果の履歴データを一覧表示した画面の例である。この画面50では、各検査結果情報の中から、検査の実行日時、チェック部品数、修正必要数の各データが抽出され、一覧表示されている。作業者は、この画面50上の所定の欄を選択して下方の表示ボタン51を操作することにより、前記図5(1)の検査結果の初期画面40を呼び出すことができる。
このように過去に実行された検査の履歴を蓄積し、適宜、読み出して表示するようにすれば、従来のように、部品補充や段取り替え後に最初に作成された基板を保存する必要がなくなる。よって、基板の保管スペースを用意するなどの手間が不要になる上、資源を無駄にせずに済む。
また、図5(2)に示した検査結果のイメージ表示画面41によれば、各部品に対するチェック結果を容易に確認することができるから、不良部位やチェックもれの部品を見落とすおそれがなくなる。また、実装方向が不適な部品に対し、チェック者が誤って方向が正しいという判定を行った場合には、マップ画像43中の黄色部分により、チェック者の認識違いを明らかにすることができる。このように、チェックミスの検証が可能なシステムを組み立てておくことにより、チェック者の誤りを改め、以後のチェックミスを防止することができる。
なお、上記の実施例では、最初にチェックする部品をチェック者に選択させた後、各部品に対する処理を順に実行するようにしたが、チェック対象の部品を選択する処理は完全に自動化してもよい。
この発明が適用された基板検査装置のブロック図である。 目視検査時の検査画面の例を示す説明図である。 目視検査時の制御処理部の処理手順を示すフローチャートである。 図3の続きのフローチャートである。 検査結果情報の表示例を示す説明図である。 検査結果の履歴情報の表示例を示す説明図である。
符号の説明
1 基板
3 撮像部
5 制御処理部
11 制御部
12 画像入力部
13 メモリ
15 画像処理部
19 検査データ記憶部
20 CADデータ記憶部
21 入力部
22 CRT表示部
30 検査画面

Claims (4)

  1. 基板上の部品の実装状態を検査するための方法であって、
    検査対象となる基板上の各部品につき、それぞれ少なくとも実装位置、実装方向、および部品の識別情報をあらかじめメモリ装置に登録しておき、
    前記メモリ装置に接続されたコンピュータによって、検査対象の基板を撮像して得られた画像を入力してモニタ装置に表示するとともに、画像上の一部品にかかる登録情報を前記メモリ装置から読み出すステップA;前記基板の画像において、ステップAで読み出した登録情報に対応する部品に着目表示を施すステップB;前記ステップAで読み出した登録情報を実装状態判定用のチェック欄とともに前記基板の画像表示と同じ画面上に表示するステップC;の各ステップを繰り返し実行し、
    前記チェック欄に対する入力状態に基づき各部品の実装状態の適否を認識して、その認識結果を出力することを特徴とする部品実装状態の検査方法。
  2. 基板上の部品の実装状態を検査するための装置であって、
    検査対象となる基板上の各部品について、それぞれ少なくとも実装位置、実装方向、および部品の識別情報が登録された登録手段と、
    検査対象の基板の画像を入力する画像入力手段と、
    部品実装状態の判定結果を入力するための入力手段と、
    実装状態判定用の入力を受け付けるためのチェック欄を含む検査画面をモニタ装置に表示させるための表示制御手段と、
    部品実装状態の適否を示す情報を出力する出力手段とを具備し、
    前記表示制御手段は、前記画像入力手段が入力した基板の画像を前記モニタ装置に表示するとともに、画像上の一部品にかかる登録情報を前記登録手段から読み出すステップA;前記基板の画像において、ステップAで読み出した登録情報に対応する部品に着目表示を施すステップB;前記ステップAで読み出した登録情報を実装状態判定用のチェック欄とともに前記基板の画像表示と同じ画面上に表示するステップC;の各ステップを繰り返し実行し、
    前記出力手段は、前記チェック欄に対する入力状態に応じて各部品の実装状態の適否を認識し、その認識結果を出力する部品実装検査装置。
  3. 前記出力手段は、各部品の実装位置にそれぞれその部品に対する判定結果をマーキングした基板のマップ画像を作成して、前記モニタ装置に表示する請求項2に記載された部品実装検査装置。
  4. 請求項2または3に記載された検査装置において、
    前記画像入力手段、入力手段、表示制御手段、出力手段の各手段による処理が行われる都度、その処理が行われた日時と出力手段が出力した情報の内容とを対応づけた検査結果情報を作成する検査結果情報作成手段と、この検査結果情報を蓄積する記憶手段とを、さらに具備する部品実装検査装置。
JP2004286668A 2004-09-30 2004-09-30 部品実装状態の検査方法およびその方法を用いた部品実装検査装置 Expired - Fee Related JP4026636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004286668A JP4026636B2 (ja) 2004-09-30 2004-09-30 部品実装状態の検査方法およびその方法を用いた部品実装検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004286668A JP4026636B2 (ja) 2004-09-30 2004-09-30 部品実装状態の検査方法およびその方法を用いた部品実装検査装置

Publications (2)

Publication Number Publication Date
JP2006100677A true JP2006100677A (ja) 2006-04-13
JP4026636B2 JP4026636B2 (ja) 2007-12-26

Family

ID=36240170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004286668A Expired - Fee Related JP4026636B2 (ja) 2004-09-30 2004-09-30 部品実装状態の検査方法およびその方法を用いた部品実装検査装置

Country Status (1)

Country Link
JP (1) JP4026636B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026562A1 (fr) * 2006-08-28 2008-03-06 I-Pulse Kabushiki Kaisha Dispositif et procédé d'inspection de l'apparence d'une planche
JP2009105103A (ja) * 2007-10-19 2009-05-14 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法及び電子部品装着装置
JP2013004883A (ja) * 2011-06-21 2013-01-07 Panasonic Corp 部品実装システム及び部品実装方法
KR101510398B1 (ko) * 2009-01-21 2015-04-13 삼성테크윈 주식회사 기판의 장착불량 원인 분석방법
CN111757667A (zh) * 2019-03-29 2020-10-09 Juki株式会社 检查装置及检查方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026562A1 (fr) * 2006-08-28 2008-03-06 I-Pulse Kabushiki Kaisha Dispositif et procédé d'inspection de l'apparence d'une planche
JP2009105103A (ja) * 2007-10-19 2009-05-14 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法及び電子部品装着装置
KR101510398B1 (ko) * 2009-01-21 2015-04-13 삼성테크윈 주식회사 기판의 장착불량 원인 분석방법
JP2013004883A (ja) * 2011-06-21 2013-01-07 Panasonic Corp 部品実装システム及び部品実装方法
CN111757667A (zh) * 2019-03-29 2020-10-09 Juki株式会社 检查装置及检查方法
CN111757667B (zh) * 2019-03-29 2023-08-25 Juki株式会社 检查装置及检查方法

Also Published As

Publication number Publication date
JP4026636B2 (ja) 2007-12-26

Similar Documents

Publication Publication Date Title
JP3918854B2 (ja) 基板検査方法および基板検査装置
JP5948797B2 (ja) 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法
US7114249B2 (en) Substrate inspecting method and substrate inspecting apparatus using the method
US6408429B1 (en) Machine vision system for identifying and assessing features of an article
JP3870872B2 (ja) 検査データ作成方法およびこの方法を用いた基板検査装置
US5739846A (en) Method of inspecting component placement accuracy for each first selected circuit board to be assembled of a batch
JP4978424B2 (ja) 部品実装検査の検査結果確認方法および検査結果確認システム
JP2007184589A (ja) 基板検査方法および基板検査装置
JP2006258796A (ja) 基板検査方法および装置、並びに、その検査ロジック設定方法および装置
JP3906780B2 (ja) 部品コード変換テーブルに対するデータ登録方法、基板検査データの作成装置、登録処理用のプログラムおよびその記憶媒体
KR100215945B1 (ko) 수정 지원 방법 및 장치
JP4026636B2 (ja) 部品実装状態の検査方法およびその方法を用いた部品実装検査装置
JP4506395B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP3870910B2 (ja) 実装間違い検査方法およびこの方法を用いた基板検査装置
JP5407754B2 (ja) 基板検査用の検査領域の設定データ作成方法および検査データ作成システム
JPH07107511B2 (ja) プリント基板検査装置
JPH11258178A (ja) 検査装置および方法
JPH11271234A (ja) 検査装置および方法ならびに検査用基準データ作成装置
JP4470659B2 (ja) 部品検査用のモデル登録方法およびこの方法を用いた検査データ作成装置
JPH11258176A (ja) 検査装置および方法
JP5407755B2 (ja) 基板検査用の検査領域の設定データ作成方法および検査データ作成システム
JP2006284543A (ja) 実装回路基板検査方法および実装回路基板検査装置
JP2006086451A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP4419778B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JPH07107510B2 (ja) 基板検査装置および基板検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4026636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees