JP2004226128A - 外観検査装置および外観検査方法 - Google Patents
外観検査装置および外観検査方法 Download PDFInfo
- Publication number
- JP2004226128A JP2004226128A JP2003011656A JP2003011656A JP2004226128A JP 2004226128 A JP2004226128 A JP 2004226128A JP 2003011656 A JP2003011656 A JP 2003011656A JP 2003011656 A JP2003011656 A JP 2003011656A JP 2004226128 A JP2004226128 A JP 2004226128A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- substrate
- color correction
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
Landscapes
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】テレセントリックレンズ32A、32Bとラインセンサ34A、34Bを組み合わせた2組のテレセントリック光学系が、基板1の撮像方向74に並べて配置される。ラインセンサ34Aが読みとるライン70Aと、ラインセンサ34Bが読みとるライン70Bとは、一部重複がある。この状態で1ライン分の画像データが取り込まれると、2組のテレセントリック光学系を含む走査ヘッドが駆動方向76へ1ライン分送り出される。以降同様の処理を繰り返すことにより、基板1の全ラインにわたって一部が重複した2枚の画像データが取得される。2枚の画像を重複部分で位置ずれと色ずれを補正した上で合成し、合成画像をもとに基板1の検査を行う。
【選択図】 図2
Description
【発明の属する技術分野】
この発明は、外観検査技術に関する。この発明は特に、被検査体の基板面を走査して画像を取得して検査を行う外観検査装置および外観検査方法に関する。
【0002】
【従来の技術】
電子機器の基板の製造工程には、電子部品を基板上に装着する実装工程と、部品の実装状態を検査する検査工程が含まれる。実装工程は高密度化が進んでおり、数十ミクロンのオーダーで電子部品の実装位置が決められている。またIT関連機器、特に携帯電話など携帯機器の需要が増加しており、実装工程は年々高速化している。一方、部品実装後の検査工程は、基板の高密度化のため、不良を発見することはきわめて難しい課題となっている。従来の検査では、プローバを用いたICT(インサーキットテスタ)など接触型の試験方法が用いられていたが、最近の実装密度の高さでは接触型の検査装置による対応が困難になり、非接触型、特に画像認識技術を用いた外観検査装置の需要が伸びている。
【0003】
このような外観検査装置においては、高密度実装に対応して非常に高い解像度で部品の実装状態を撮影し、高い精度で不良の検出をする必要がある。そのため検査にかかる時間が長くなる傾向にある。集積回路の需要が高まり、実装工程の高速化が進んでも、検査工程に時間がかかると、製品の出荷が遅れることとなり、昨今の厳しい製造競争に耐えることができなくなる。そこで、精度が高く、検査時間を短縮できる外観検査装置の開発が進められている。
【0004】
外観検査装置には、ラインセンサを用いて基板面を走査して基板の画像を読み込み、画像データを用いて検査を行うものがある。数十ミクロンのオーダーの部品の実装位置を精密に読みとるためには、高密度のラインセンサを用いる必要がある。現在市販されているCCDラインセンサは最大でも5千〜1万画素であり、たとえば25ミクロンの精度の検出をするには、ラインセンサによる読み取り幅は25センチメートルが限界である。したがって、幅の大きい基板の場合、一度に基板面全体の画像を読みとることができず、複数の画像に分割して読みとることになる。特許文献1には、2つのラインセンサを用いて基板面の画像を一部重複させて2枚撮影し、2枚の画像を貼り合わせて合成する外観検査装置が開示されている。
【0005】
【特許文献1】
特開2002−181729号公報 (全文、第1−6図)
【0006】
【発明が解決しようとする課題】
このような複数の画像に分割して撮影する外観検査装置において、画像の境界線をまたぐ電子部品は検査する場合、境界線付近で2枚の画像を参照して、境界線をまたぐ電子部品を検査することもできるが、数十ミクロンのオーダーで2枚の画像を参照して検査を行うには高精度のマッチング技術を要し、解析処理が非常に困難なものとなる。そこで、2枚の画像を貼り合わせて合成した上で検査が行われるが、複数のレンズを用いた場合、レンズの収差の微妙な違いから、2枚の画像のつなぎ目で位置ずれが生じ、また、色情報が一致しないことがあり、境界線付近では2枚の画像間の対応が取ることが難しくなる。
【0007】
本発明はこうした状況に鑑みてなされたものであり、その目的は、基板を撮影した複数の画像を貼り合わせて検査を行うための外観検査技術の提供にある。また別の目的は、読み取り幅に限度のあるラインセンサを用いて基板全体の検査を行うための外観検査技術の提供にある。
【0008】
【課題を解決するための手段】
本発明のある態様は、外観検査装置に関する。この装置は、被検査体の基板面を走査して画像を取り込む走査ヘッドと、前記画像をもとに所定の検査をするメインユニットとを含む。前記走査ヘッドは、前記基板面からの反射光を結像するテレセントリックレンズとその反射光を撮像する一次元センサの組を撮像ラインに沿って複数設け、各一次元センサに撮像される前記被検査体の画像が一部重複するよう構成される。前記メインユニットは、前記一次元センサの各々から取り込まれた複数の画像を、重複部分に含まれる画素データを補正して貼り合わせる画像処理部と、貼り合わせの結果一枚となった画像を所定の合否判断基準に照らし、検査項目ごとに合否を判定する解析部とを含む。
【0009】
前記画像処理部は、前記重複部分に含まれる画素データの色ずれを補正する色補正部を含んでもよく、前記重複部分に含まれる画素データの色情報が略一致するように、一方のテレセントリックレンズにおける色補正テーブルを基準として、他方のテレセントリックレンズの色補正テーブルを調整してもよい。また、前記色補正部は、前記走査ヘッドにより撮像した色補正用チャートの画像をもとに、前記テレセントリックレンズの端部の色収差を補正するための色補正データを予め作成して、前記重複部分の色ずれ補正に利用してもよい。画像の重複部分を重ね合わせた場合に、色ずれのない画像が得られるため、画像の境界をまたぐ検査対象の正確な検査が可能となる。
【0010】
前記画像処理部は、前記重複部分に含まれる参照情報をもとに位置ずれを補正する位置補正部を含んでもよい。前記参照情報は前記被検査体上の複数の対象物であり、それらの対象物のマッチングをもとに、前記画像の位置ずれを検出してもよい。これにより、画像の重複部分の正確な貼り合わせが可能となる。被検査体上の対象物は、画像のマッチングが可能な被検査体上の対象であり、基板上の電子部品、導線パターン、スルーホール、および基板に印刷された部品の名称や型番、規格の名称などの文字列等を含む。
【0011】
本発明の別の態様は、外観検査方法に関する。この方法は、被検査体の画像を複数のテレセントリックレンズにより一部重複させて撮影する工程と、撮影された画像の重複部分の色ずれを補正して画像を貼り合わせる工程と、貼り合わせの結果一枚となった画像をもとに所定の検査をする工程とを含む。
【0012】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0013】
【発明の実施の形態】
図1は、実施の形態に係る外観検査装置10の構成図である。この装置は、被検査体の検査面をラインセンサで走査して画像を形成し、画像認識によって部品実装状態の合否を判定するものである。ラインセンサによる撮像ラインに対して垂直に走査ヘッドを駆動することで順次ラインごとの画像がえられ、走査ヘッドの一次元運動で基板面の全体画像が取得される。外観検査装置の別のタイプとして、検査面を二次元的に移動させて停止し、これを繰り返してつぎつぎにスポット撮影をするものもあるが、その場合、一般に機構系が複雑になり、検査時間も長い場合が多い。その点で、この実施の形態の一次元センサを用いる形態は有利である。本出願人は先に、特開平8−254500号公報において、このような一次元センサを用いた外観検査装置を提案しており、それを本実施形態で用いてもよい。
【0014】
図1のごとく、外観検査装置10は、メインユニット12と試験ユニット14を備える。試験ユニット14の下部には支持台22が設けられ、被検査体である基板1が把持されている。試験ユニット14の上部には、走査ヘッド16と、それを駆動するステッピングモータ20と、走査ヘッド16を支持するリニアガイド等のガイド18が設けられている。
【0015】
走査ヘッド16は照明ユニット30、テレセントリックレンズ32A、32B、およびラインセンサ34A、34Bを有する。これらの部材はフレーム36上に固定されている。後述のように、テレセントリックレンズ32A、32Bとラインセンサ34A、34Bは、撮像ラインに沿って2組並べて設けられており、ラインセンサ34A、34Bの各々から取り込まれる画像が撮像ラインの方向で一部重複するように構成されている。
【0016】
照明ユニット30は、落射照明源、側方照明源、ハーフミラーなどを内蔵する。基板1から垂直上方への反射光はハーフミラーでテレセントリックレンズ32A、32Bへ導かれ、テレセントリックレンズ32A、32Bを通過した後、一次元CCDセンサであるラインセンサ34A、34Bへ入力される。2つのラインセンサ34A、34Bのそれぞれがライン単位に基板1を撮像してその画像データ54A、54Bを出力する。以下、テレセントリックレンズ32A、32Bとラインセンサ34A、34Bを合わせてテレセントリック光学系と呼ぶ。
【0017】
メインユニット12は、本装置全体を統括的に制御するもので、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされた外観検査機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0018】
メインユニット12のヘッド制御ユニット40はまず、照明制御クロック50を照明ユニット30へ供給し、1ライン毎に落射照明と側方照明を交互に切り替えて点灯させる。ヘッド制御ユニット40はさらに、モータ制御信号52をモータ20へ、試験開始信号56をメモリ制御ユニット42へそれぞれ出力する。モータ制御信号52によってモータ20のステップ制御がなされ、検査の開始に際し、走査ヘッド16が基板1の端部へ移動する。この位置をスタート位置として、以降1ライン撮像するたびにモータ制御信号52によって走査ヘッド16が1ライン分進行する。一方、試験開始信号56を参照し、メモリ制御ユニット42はメモリ44への画像データ54A、54Bの書込を制御し、以降、画像データ54A、54Bがライン単位で記録されていく。画像データ54A、54Bは、落射照明によるものと側方照明によるものとが1ライン毎にインターリーブされて入力され、全ラインの撮像が終わると、メモリ44内には、落射照明による外観検査用画像と、側方照明による外観検査用画像が個別に形成される。
【0019】
画像処理部43は、較正データ生成処理および画像合成処理を行う。較正データ生成処理として、位置補正部45は、メモリ44から後述の較正用基板を撮像した画像データを読み込み、較正用基板の識別マークの位置ずれと大きさの変化を検出し、テレセントリック光学系の収差を較正するための位置補正テーブルを作成し、較正データ記憶部49に格納する。さらに、色補正部47は、メモリ44から後述のグレースケールチャートを撮像した画像データを読み込み、テレセントリック光学系の色収差を補正するための色補正テーブルを作成し、較正データ記憶部49に格納する。
【0020】
画像合成処理として、位置補正部45は、メモリ44から検査対象の基板1の画像データ54A、54Bを読み込んで、較正データ記憶部49に予め格納された位置補正テーブルを用いて、画像全体に現れる歪みを補正し、2枚の画像の重複部分では後述のようにマッチングをとって2枚の画像の境界部分を貼り合わせて一枚の画像に合成する。さらに、色補正部47は、較正データ記憶部49に予め格納された色補正テーブルを用いて、重複部分の色ずれを補正し、補正された合成画像をメモリ44に格納する。メモリ44は、基板面全体の画像を一枚の画像データとして記憶できるように大容量の記憶領域が確保される。
【0021】
解析ユニット46は、メモリ44から合成された画像データを読み出し、判定基準記憶部48に予め記録された判定基準に照らして、検査項目ごとに合否を判断する。検査項目として、落射試験による部品の位置ずれ、欠品、ハンダのヌレの判定など、および側方試験によるハンダブリッジの有無、搭載部品の間違い、極性の反転の判定などがある。たとえば、落射試験によるハンダヌレの判定は、部品の電極の周りに一様に暗い部分が生じれば合格、電極から離れたところに暗い丸が生じれば不合格とすることができる。後者の場合、ハンダが電極に載らず、基板1のランドに低い山状に溶けずに残っている可能性が高い。いずれにしても、判定基準記憶部48にはあらかじめ検査すべき基板1の部品搭載について、合否に関する判断基準または基準画像が記録され、合成された画像にそれらの判断基準または基準画像を適用して合否判定が行われる。
【0022】
図2は、走査ヘッド16の2つのラインセンサ34による基板面の走査を説明する図である。テレセントリックレンズ32A、32Bとラインセンサ34A、34Bは、基板1の撮像ラインの方向74(以下、単に撮像方向と呼ぶ)に並べて配置されている。ラインセンサ34Aが読みとるライン70Aと、ラインセンサ34Bが読みとるライン70Bとは、一部重複がある。この状態で1ライン分の画像データが取り込まれると、走査ヘッド16は駆動方向76へ1ライン分送り出される。以降同様の処理を繰り返すことにより、基板1の全ラインにわたって一部が重複した2枚の画像データが取得される。
【0023】
テレセントリックレンズ32A、32Bは、被写体側の主光線が光軸と平行になるように構成されており、デフォーカスされても結像側で倍率変動が発生しないため、基板1に高さの異なる部品が搭載されていても、同一視野、同一倍率で基板面を撮像することができる。たとえば、コンデンサのような高さのある部品が搭載されていても、落射照明のもと基板1の真上からの撮像が可能である。また、2つのテレセントリックレンズ32A、32Bを並べて使用したことにより、レンズ視野以上の幅を一括して撮像することができる。
【0024】
しかしながら、テレセントリックレンズ32A、32Bには、テレセントリック光学系を成立させるためのレンズ設計上の複雑な加工がなされているため、撮像された画像には収差による歪みが生じる。基板1上では部品の実装や導線パターンのエッチングは、数十ミクロンのオーダーで行われているため、このようなレンズ収差による歪みが検査上、重大な意味をもち、歪みの補正処理が不可欠である。このような歪みは、テレセントリックレンズ32A、32Bの特に端部において大きく、位置ずれだけでなく、色ずれも生じる。したがって、2つのテレセントリックレンズ32A、32Bにより一部を重複させて2枚の画像を撮像すると、重複部分のホワイトバランスが崩れ、2枚の画像のつなぎ目で色情報が一致しなくなる。位置補正ができても、色ずれがあると、境界線付近では2枚の画像間の対応を取ることが難しく、正確な検査の妨げとなる。
【0025】
以下、テレセントリック光学系による外観検査を可能ならしめるための補正処理について、(A)単一のテレセントリック光学系内でのレンズ収差の補正処理、(B)2つのテレセントリック光学系により撮像された2枚の画像を合成する際の画像の重複部分での位置補正処理、(C)2枚の画像を合成する際の画像の重複部分での色補正処理の順に説明する。
【0026】
(A)単一のテレセントリック光学系内でのレンズ収差の補正
テレセントリックレンズは一般に周辺部で収差による歪みが大きくなる。そのため、テレセントリック光学系で基板1の画像を撮影した場合、画像の端部に近づくほど収差による像の歪みが大きい。たとえば、中心部は1ミリメートル当たり40画素が撮像されるとして、端部に行くにしたがって1ミリメートルが35画素くらいに圧縮したようになったり、逆に45画素くらいに拡大して見えたりする。レンズの歪みの変化率が外観検査の精度に与える影響は非常に大きいため、1画素単位での補正が必要となる。
【0027】
この収差歪みの補正は、図3(a)で示すような、たとえば10ミリメートル間隔で格子状に識別マークが付けられた較正用基板100をテレセントリック光学系で走査して撮像することで行われる。図3(b)は、較正用基板100の撮影画像102における識別マークの2次元的なずれを模式的に説明したものである。白丸は基板上の識別マークの本来の位置を示し、黒丸は識別マークの画像上の位置を示す。矢印は識別マークのずれの方向と量を示し、黒丸の大きさにより、撮像された識別マークの大きさの変化を示している。位置補正部45が、この較正用基板100の撮像画像102から識別マークの位置ずれと大きさの変化を検出することで、撮像ライン方向に1画素単位で補正量を決定し、位置補正テーブルとして、較正データ記憶部49に格納する。位置補正部45は、テレセントリック光学系で撮像される検査対象の基板1の画像に対して、この位置補正テーブルにもとづいた歪み補正を1画素単位で行う。
【0028】
(B)2枚の画像の重複部分での位置補正
図4は、ラインセンサ34A、34Bが取り込んだ2枚の画像80A、80Bの説明図である。2枚の画像80A、80Bは、それぞれ対応するラインセンサ34A、34Bが取り込んだものであり、重複部分86A、86Bを有する。画像80Aの左上には検査用の目印90が、画像80Bの右下には検査用の目印92が撮像されている。これらの目印90、92は検査の開始点、終了点を識別するために用いられる。電子部品82A、82Bはそれぞれの画像に重複して撮像されている。同様に基板上に印刷された、規格や部品名を示す文字列84A、84Bも重複して撮像されている。位置補正部45は、これらの重複して撮像された対象物を参照基準として検出し、2枚の画像間でマッチングをとり、参照基準となる対象物の2次元的なずれを求め、2枚の画像80A、80Bを貼り合わせる処理を行う。2つの参照基準の間の任意の点は線形補間その他の補間により2枚の画像間で対応づける。重複部分の両端以外で参照基準となる対象物を検出して、補間精度を上げるようにしてもよい。
【0029】
(C)2枚の画像の重複部分での色補正
ラインセンサ34A、34Bに取得される画像データ54A、54Bの画素値は通常、入射光量に対して線形の値となることを前提として定められている。色補正部47は、2枚の画像の重複部分において、この画素値を較正データ記憶部49に予め格納された色補正テーブルを用いて補正する。色補正テーブルは次のようにして作成する。
【0030】
まず、2つのテレセントリック光学系は、図5に示すような、白から黒へ階調を変化させたグレースケールチャート110を走査して撮像する。グレースケールチャート110は、走査ヘッド16の駆動方向76、撮像方向74に対して同図の向きに設置する。このとき、2つのテレセントリック光学系がそれぞれのレンズの端部でグレースケールチャート110を撮像するように、グレースケールチャート110を支持台22の中央に設置して走査させる。
【0031】
図6は、2つのテレセントリック光学系により撮像されたグレースケールチャート110の画像120A、120Bを示す。同図左の点A1〜A9は第1のテレセントリック光学系により得られたグレースケールチャート110の各階調の画素値であり、右の点B1〜B9は第2のテレセントリック光学系により得られた、それぞれ左の点A1〜A9と同位置のグレースケールチャート110の画素値である。本来なら、これらの画素値は同じであるが、レンズ収差のため一般には異なる値をもつ。色補正部47は、これらの対応する画素値のペアが同じ値をもつように、第2のテレセントリック光学系の画素値B1〜B9を第1のテレセントリック光学系の画素値A1〜A9に合わせる補正を行う。
【0032】
図7は、色補正部47により補正された第2のテレセントリック光学系の画素値出力関数のグラフを示す。画素値出力関数は、同図の点線に示すように、本来は光量Iに対して画素値Pが線形の関係にあるが、図6の補正された画素値B1〜B9を通る折れ線グラフに補正される。このように、色補正部47は、第2のテレセントリック光学系の画素値出力関数を第1のテレセントリック光学系の画素値出力関数に合わせる補正を行う。この補正は、2つのテレセントリック光学系で撮像された2つの画像の重複部分の他の対応する点についても同様に行われ、重複部分全体の画素値が2つのテレセントリック光学系の間で一致するようになる。色補正部47は、こうして得られる重複部分の色補正値を色補正テーブルとして較正データ記憶部49に格納する。
【0033】
以上の構成の外観検査装置10による外観検査手順を説明する。外観検査手順は、図8に示すキャリブレーション過程と、図9に示す検査過程に分かれる。キャリブレーション過程は、通常、外観検査装置10の初回の使用時に行い、それ以降は検査過程だけを行うことになる。
【0034】
図8のキャリブレーション過程において、走査ヘッド16は較正用基板を走査して画像データを取得し、メモリ44に記憶する(S10)。位置補正部45は、メモリ44に記憶された較正用基板の画像から識別マークの位置と大きさを検出し、本来識別マークがあるべき基準位置からのずれと大きさの変化を検出する(S12)。位置補正部45は、識別マークの歪みを補正するための位置補正データを生成し、較正データ記憶部49に保存する(S14)。
【0035】
次に、走査ヘッド16はグレースケールチャートを走査して、2つのテレセントリック光学系により2枚の画像を撮像し、メモリ44に記憶する(S16)。色補正部47は、2つのテレセントリック光学系の色ずれを検出し(S18)、色ずれを補正するための色補正データを生成し、較正データ記憶部49に保存する(S20)。
【0036】
図9の検査過程において、走査ヘッド16は検査対象の基板1を走査して2枚の画像データを取得し、メモリ44に記憶する(S30)。位置補正部45は、較正データ記憶部49に格納された位置補正テーブルを参照し、2枚の画像の任意の点についてレンズ収差による位置ずれなどの歪みを補正し、メモリ44に記憶する(S32)。次に、位置補正部45は、メモリ44に記憶された2枚の画像の重複部分から参照基準となる対象物の位置を検出して、2枚の画像間でマッチングをとることにより、重複部分のずれを補正する(S34)。
【0037】
さらに、色補正部47は、較正データ記憶部49に格納された色補正テーブルを参照し、2枚の画像の重複部分について色補正を行い、メモリ44に記憶する(S36)。画像処理部43は、2枚の画像を貼り合わせた合成画像を作成し、メモリ44に記憶する(S38)。解析ユニット46は、メモリ44に記憶された合成画像をもとに、検査すべき部位について検査項目ごとに、判定基準記憶部48に記憶された判定基準に基づいた合否判定を行う(S40)。たとえば、欠品検査では、部品があるべき位置の画像領域に含まれる画素の輝度に基づいて、部品の有無を判定する。ハンダ検査では、ハンダ付け箇所を含む画像領域において明るい画素の面積が所定の値より小さいか否かで、ハンダ付けの不良を判定する。ズレ検査では、部品の外周で電極パターンを含む画像領域の輝度に基づいて、部品がずれて装着されていないかどうかを判定する。
【0038】
以上述べたように、本実施形態の外観検査システムによれば、2つのテレセントリック光学系を用いて、基板面を2枚の画像に分けて撮像した後、2枚の画像の境界付近のずれを補正して1枚の画像に合成して検査を行う。したがって、サイズの大きい基板であっても合成された画像データをもとに一度に検査を行うことができる。これにより、基板の幅に合わせて画素数の大きいラインセンサを特注することなく、市販のラインセンサで外観検査を行うことが可能である。また2枚の画像を別々に検査する場合に比べ、基板全体の検査を簡便にかつ確実に行うことができる。また、テレセントリックレンズを用いたことにより、高さの異なる部品の搭載された基板であっても、落射照明のもと真上から撮影して全部品について一括で検査を行うことができる。
【0039】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0040】
そのような変形例として、上記の説明では、2組のテレセントリック光学系を設けて、基板を2枚の画像に分けて撮像したが、3組以上のテレセントリック光学系を設けて、3枚以上の画像を一部重複させて撮像し、重複部分を貼り合わせて1枚の画像に合成してもよい。また、走査に時間がかかることになるが、1組のテレセントリック光学系で基板の半分を走査した後、その光学系を撮像ラインの方向に移動し、反対方向に基板の残り半分を走査し、この往復運動で得られる2枚の画像を合成して基板全体の画像を取得する構成にしてもよい。
【0041】
上記の色補正では、2つのテレセントリック光学系で撮像されたグレースケールチャートの画像により色補正テーブルを予め作成したが、グレースケールチャートを使わずに、実際の検査基板の2枚の画像の重複部分について、一方のテレセントリック光学系による画素値を他方のテレセントリック光学系による画素値に合わせる補正を行って、色ずれを解消してもよい。この場合でも、上記の色補正と同様の手法が利用できる。
【0042】
【発明の効果】
本発明によれば、基板の複数の画像をもとに基板全体の検査を効率よく行うことができる。
【図面の簡単な説明】
【図1】実施の形態に係る外観検査装置の構成図である。
【図2】走査ヘッドの2つのラインセンサによる基板面の走査を説明する図である。
【図3】識別マークのある較正用基板と、較正用基板の画像における識別マークの歪みを模式的に説明する図である。
【図4】2つのラインセンサが取り込んだ2枚の画像の説明図である。
【図5】色補正用のグレースケールチャートの説明図である。
【図6】2つのテレセントリック光学系により撮像された図5のグレースケールチャートの画像を説明する図である。
【図7】色補正されたテレセントリック光学系の画素値出力関数を説明する図である。
【図8】実施の形態に係る外観検査手順におけるキャリブレーション過程を示すフローチャートである。
【図9】実施の形態に係る外観検査手順における検査過程を示すフローチャートである。
【符号の説明】
1 基板、 10 外観検査装置、 12 メインユニット、 14 試験ユニット、 16 走査ヘッド、 30 照明ユニット、 32A、32B テレセントリックレンズ、 34A、34B ラインセンサ、 40 ヘッド制御ユニット、 42 メモリ制御ユニット、 44 メモリ、 43 画像処理部、45 位置補正部、 46 解析ユニット、 47 色補正部、 48 判定基準記憶部。
Claims (6)
- 被検査体の基板面を走査して画像を取り込む走査ヘッドと、
前記画像をもとに所定の検査をするメインユニットとを含み、
前記走査ヘッドは、前記基板面からの反射光を結像するテレセントリックレンズとその反射光を撮像する一次元センサの組を撮像ラインに沿って複数設け、各一次元センサに撮像される前記被検査体の画像が一部重複するよう構成され、
前記メインユニットは、
前記一次元センサの各々から取り込まれた複数の画像を、重複部分に含まれる画素データを補正して貼り合わせる画像処理部と、
貼り合わせの結果一枚となった画像を所定の合否判断基準に照らし、検査項目ごとに合否を判定する解析部とを含むことを特徴とする外観検査装置。 - 前記画像処理部は、前記重複部分に含まれる画素データの色ずれを補正する色補正部を含むことを特徴とする請求項1に記載の外観検査装置。
- 前記色補正部は、前記重複部分に含まれる画素データの色情報が略一致するように、一方のテレセントリックレンズにおける色補正テーブルを基準として、他方のテレセントリックレンズの色補正テーブルを調整することを特徴とする請求項2に記載の外観検査装置。
- 前記色補正部は、前記走査ヘッドにより撮像した色補正用チャートの画像をもとに、前記テレセントリックレンズの端部の色収差を補正するための色補正データを予め作成して、前記重複部分の色ずれ補正に利用することを特徴とする請求項2または3に記載の外観検査装置。
- 前記画像処理部は、前記重複部分に含まれる参照情報をもとに位置ずれを補正する位置補正部を含むことを特徴とする請求項1から4のいずれかに記載の外観検査装置。
- 被検査体の画像を複数のテレセントリックレンズにより一部重複させて撮影する工程と、
撮影された画像の重複部分の色ずれを補正して画像を貼り合わせる工程と、
貼り合わせの結果一枚となった画像をもとに所定の検査をする工程とを含む外観検査方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003011656A JP4166585B2 (ja) | 2003-01-20 | 2003-01-20 | 外観検査装置および外観検査方法 |
CNB2004100393238A CN100573112C (zh) | 2003-01-20 | 2004-01-19 | 外观检测装置以及外观检测方法 |
US10/762,144 US7002676B2 (en) | 2003-01-20 | 2004-01-20 | Appearance inspection apparatus and the method of inspecting the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003011656A JP4166585B2 (ja) | 2003-01-20 | 2003-01-20 | 外観検査装置および外観検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004226128A true JP2004226128A (ja) | 2004-08-12 |
JP4166585B2 JP4166585B2 (ja) | 2008-10-15 |
Family
ID=32900495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003011656A Expired - Lifetime JP4166585B2 (ja) | 2003-01-20 | 2003-01-20 | 外観検査装置および外観検査方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7002676B2 (ja) |
JP (1) | JP4166585B2 (ja) |
CN (1) | CN100573112C (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006184021A (ja) * | 2004-12-24 | 2006-07-13 | Saki Corp:Kk | 外観検査装置 |
JP2006184019A (ja) * | 2004-12-24 | 2006-07-13 | Saki Corp:Kk | 外観検査装置 |
JP2006308556A (ja) * | 2005-03-31 | 2006-11-09 | Dainippon Screen Mfg Co Ltd | ムラ検査装置およびムラ検査方法 |
JP2007194302A (ja) * | 2006-01-17 | 2007-08-02 | Saki Corp:Kk | 被検査体の検査装置 |
JP2009168615A (ja) * | 2008-01-16 | 2009-07-30 | Denso Corp | 外観検査装置及び外観検査方法 |
JP2009168582A (ja) * | 2008-01-15 | 2009-07-30 | Saki Corp:Kk | 外観検査装置 |
WO2009148720A3 (en) * | 2008-06-05 | 2010-03-04 | 3M Innovative Properties Company | Web inspection calibration system and related methods |
JP2010109465A (ja) * | 2008-10-28 | 2010-05-13 | Mitsubishi Electric Corp | 画像読取装置 |
JP2011038784A (ja) * | 2009-08-06 | 2011-02-24 | Sony Corp | 外観検査装置 |
JP2011232077A (ja) * | 2010-04-26 | 2011-11-17 | Yokogawa Electric Corp | 塗工パターン寸法測定装置 |
KR101215083B1 (ko) | 2011-12-27 | 2012-12-24 | 경북대학교 산학협력단 | 기판 검사장치의 높이정보 생성 방법 |
KR101328254B1 (ko) * | 2012-03-29 | 2013-11-14 | 주식회사 포스코 | 교차 조명에 의한 후판의 표면 영상 처리 장치 및 방법 |
JP2014035261A (ja) * | 2012-08-08 | 2014-02-24 | Sony Corp | 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法 |
JP2014206547A (ja) * | 2008-01-16 | 2014-10-30 | オルボテック リミテッド | 複数のカメラを使用した基板検査 |
KR101474901B1 (ko) | 2011-06-09 | 2014-12-19 | 야마하하쓰도키 가부시키가이샤 | 부품 촬상 방법, 부품 촬상 장치, 및 동 장치를 구비한 부품 실장 장치 |
JP2021181889A (ja) * | 2020-05-18 | 2021-11-25 | 本田技研工業株式会社 | 外観検査システム |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4166587B2 (ja) * | 2003-01-24 | 2008-10-15 | 株式会社サキコーポレーション | 外観検査装置および体積検査方法 |
JP4654022B2 (ja) * | 2004-12-24 | 2011-03-16 | 株式会社サキコーポレーション | 基板の外観検査装置 |
JP2008292352A (ja) * | 2007-05-25 | 2008-12-04 | Mitsutoyo Corp | 反射型エンコーダ |
CN102109342B (zh) * | 2009-12-29 | 2013-03-20 | 比亚迪股份有限公司 | 贴片产品自动检测方法及系统 |
DE102011001289B4 (de) * | 2011-03-15 | 2013-05-29 | Alfavision Gmbh & Co. Kg | Vorrichtung zur optischen Erfassung von Prüfobjekten |
CN103185722A (zh) * | 2011-12-30 | 2013-07-03 | 塞米西斯科株式会社 | 具有多级基板投入门的基板质量检测装置 |
US9992379B2 (en) | 2014-04-10 | 2018-06-05 | Entit Software Llc | Partial snapshots for creating generalized snapshots |
US10146667B2 (en) | 2014-04-10 | 2018-12-04 | Entit Software Llc | Generalized snapshots based on multiple partial snapshots |
JP6456726B2 (ja) * | 2015-03-06 | 2019-01-23 | 名古屋電機工業株式会社 | 検査装置、検査方法および検査プログラム |
CN106442560A (zh) * | 2016-08-23 | 2017-02-22 | 汕头大学 | 一种显示屏的定位测量与缺陷检测方法 |
KR102650388B1 (ko) | 2016-11-23 | 2024-03-25 | 삼성전자주식회사 | 검사 장치 및 그를 이용한 반도체 소자의 제조 방법 |
CN106934803B (zh) * | 2017-03-13 | 2019-12-06 | 珠海格力电器股份有限公司 | 电子器件表面缺陷的检测方法及装置 |
CN108226166A (zh) * | 2017-12-29 | 2018-06-29 | 信利(惠州)智能显示有限公司 | 一种自动光学检测扫描方法 |
CN108133245A (zh) * | 2017-12-29 | 2018-06-08 | 英特尔产品(成都)有限公司 | 资产管理系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0459489B1 (en) * | 1990-05-30 | 1997-01-22 | Dainippon Screen Mfg. Co., Ltd. | Method of reading optical image of inspected surface and image reading system employable therein |
US6211899B1 (en) * | 1997-09-01 | 2001-04-03 | Fuji Photo Film Co., Ltd. | Image exposure apparatus |
US6160910A (en) * | 1998-12-02 | 2000-12-12 | Freifeld; Daniel | High precision three dimensional mapping camera |
IL131284A (en) * | 1999-08-05 | 2003-05-29 | Orbotech Ltd | Illumination for inspecting surfaces of articles |
US6552783B1 (en) * | 2000-06-28 | 2003-04-22 | Teradyne, Inc. | Optical system |
JP3580493B2 (ja) | 2000-08-11 | 2004-10-20 | 株式会社サキコーポレーション | 走査ヘッドおよびそれを利用可能な外観検査方法および装置 |
US6809809B2 (en) * | 2000-11-15 | 2004-10-26 | Real Time Metrology, Inc. | Optical method and apparatus for inspecting large area planar objects |
-
2003
- 2003-01-20 JP JP2003011656A patent/JP4166585B2/ja not_active Expired - Lifetime
-
2004
- 2004-01-19 CN CNB2004100393238A patent/CN100573112C/zh not_active Expired - Lifetime
- 2004-01-20 US US10/762,144 patent/US7002676B2/en not_active Expired - Lifetime
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006184019A (ja) * | 2004-12-24 | 2006-07-13 | Saki Corp:Kk | 外観検査装置 |
JP2006184021A (ja) * | 2004-12-24 | 2006-07-13 | Saki Corp:Kk | 外観検査装置 |
JP2006308556A (ja) * | 2005-03-31 | 2006-11-09 | Dainippon Screen Mfg Co Ltd | ムラ検査装置およびムラ検査方法 |
JP4746991B2 (ja) * | 2006-01-17 | 2011-08-10 | 株式会社サキコーポレーション | 被検査体の検査装置 |
JP2007194302A (ja) * | 2006-01-17 | 2007-08-02 | Saki Corp:Kk | 被検査体の検査装置 |
JP2009168582A (ja) * | 2008-01-15 | 2009-07-30 | Saki Corp:Kk | 外観検査装置 |
JP2009168615A (ja) * | 2008-01-16 | 2009-07-30 | Denso Corp | 外観検査装置及び外観検査方法 |
JP2014206547A (ja) * | 2008-01-16 | 2014-10-30 | オルボテック リミテッド | 複数のカメラを使用した基板検査 |
US11113803B2 (en) | 2008-01-16 | 2021-09-07 | Orbotech Ltd. | Inspection of a substrate using multiple cameras |
WO2009148720A3 (en) * | 2008-06-05 | 2010-03-04 | 3M Innovative Properties Company | Web inspection calibration system and related methods |
US7957000B2 (en) | 2008-06-05 | 2011-06-07 | 3M Innovative Properties Company | Web inspection calibration system and related methods |
US7773226B2 (en) | 2008-06-05 | 2010-08-10 | 3M Innovative Properties Company | Web inspection calibration system and related methods |
JP2010109465A (ja) * | 2008-10-28 | 2010-05-13 | Mitsubishi Electric Corp | 画像読取装置 |
JP2011038784A (ja) * | 2009-08-06 | 2011-02-24 | Sony Corp | 外観検査装置 |
JP2011232077A (ja) * | 2010-04-26 | 2011-11-17 | Yokogawa Electric Corp | 塗工パターン寸法測定装置 |
KR101474901B1 (ko) | 2011-06-09 | 2014-12-19 | 야마하하쓰도키 가부시키가이샤 | 부품 촬상 방법, 부품 촬상 장치, 및 동 장치를 구비한 부품 실장 장치 |
WO2013100223A1 (ko) * | 2011-12-27 | 2013-07-04 | 주식회사 고영테크놀러지 | 기판 검사장치의 높이정보 생성 방법 |
JP2014534420A (ja) * | 2011-12-27 | 2014-12-18 | コー・ヤング・テクノロジー・インコーポレーテッド | 基板検査装置の高さ情報生成方法 |
US9115984B2 (en) | 2011-12-27 | 2015-08-25 | Koh Young Technology Inc. | Method of generating height information in circuit board inspection apparatus |
KR101215083B1 (ko) | 2011-12-27 | 2012-12-24 | 경북대학교 산학협력단 | 기판 검사장치의 높이정보 생성 방법 |
KR101328254B1 (ko) * | 2012-03-29 | 2013-11-14 | 주식회사 포스코 | 교차 조명에 의한 후판의 표면 영상 처리 장치 및 방법 |
JP2014035261A (ja) * | 2012-08-08 | 2014-02-24 | Sony Corp | 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法 |
JP2021181889A (ja) * | 2020-05-18 | 2021-11-25 | 本田技研工業株式会社 | 外観検査システム |
JP7038163B2 (ja) | 2020-05-18 | 2022-03-17 | 本田技研工業株式会社 | 外観検査システム |
Also Published As
Publication number | Publication date |
---|---|
US20040212797A1 (en) | 2004-10-28 |
US7002676B2 (en) | 2006-02-21 |
JP4166585B2 (ja) | 2008-10-15 |
CN100573112C (zh) | 2009-12-23 |
CN1517702A (zh) | 2004-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4166585B2 (ja) | 外観検査装置および外観検査方法 | |
JP2004226319A (ja) | 外観検査装置および画像取得方法 | |
JP2009168582A (ja) | 外観検査装置 | |
US10304201B2 (en) | Item image stitching from multiple line-scan images for barcode scanning systems | |
US7982779B2 (en) | Image processing device and image processing method | |
JP2014035261A (ja) | 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法 | |
JP2002181729A (ja) | 外観検査装置および外観検査方法 | |
JP2002181732A (ja) | 外観検査装置および外観検査方法 | |
JP2004301574A (ja) | 外観検査装置および外観検査方法 | |
KR100819803B1 (ko) | 솔더 페이스트 검사 방법 | |
JP5684628B2 (ja) | パターン検査装置及びパターン検査方法 | |
KR102430827B1 (ko) | 다이 본딩 장치 및 반도체 장치의 제조 방법 | |
JPH08254499A (ja) | 表示・外観検査装置 | |
JP2009192358A (ja) | 欠陥検査装置 | |
WO2018146887A1 (ja) | 外観検査装置 | |
JP4278764B2 (ja) | 欠陥検査装置及び欠陥検査方法 | |
JP2004226318A (ja) | 走査ヘッドおよびそれを利用可能な外観検査装置 | |
JP7437188B2 (ja) | 検査装置 | |
JPH02264561A (ja) | 撮像素子光学ユニットの調整方法 | |
JP2000121337A (ja) | 画像補正方法および画像補正装置 | |
JP2002277406A (ja) | 外観検査方法および装置 | |
US20110019247A1 (en) | Imaging system and method | |
JPH08279034A (ja) | 画像合成処理方式およびスキャナ | |
JPS63316276A (ja) | 印字パターン認識装置 | |
JP2020112369A (ja) | 三次元形状測定装置、三次元形状測定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4166585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |