JP2010014504A - 検査条件決定方法、検査条件決定装置、外観検査機およびプログラム - Google Patents

検査条件決定方法、検査条件決定装置、外観検査機およびプログラム Download PDF

Info

Publication number
JP2010014504A
JP2010014504A JP2008173985A JP2008173985A JP2010014504A JP 2010014504 A JP2010014504 A JP 2010014504A JP 2008173985 A JP2008173985 A JP 2008173985A JP 2008173985 A JP2008173985 A JP 2008173985A JP 2010014504 A JP2010014504 A JP 2010014504A
Authority
JP
Japan
Prior art keywords
camera
imaging
area
inspection
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008173985A
Other languages
English (en)
Other versions
JP5354978B2 (ja
Inventor
Yasuhiro Maenishi
康宏 前西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008173985A priority Critical patent/JP5354978B2/ja
Publication of JP2010014504A publication Critical patent/JP2010014504A/ja
Application granted granted Critical
Publication of JP5354978B2 publication Critical patent/JP5354978B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】カメラの撮影時の解像度を変更しながら部品の撮影を行なう外観検査機において、解像度の切り替えタイミングおよびカメラの移動経路を最適化する。
【解決手段】複数の解像度で基板上の部品を撮影し、前記部品の実装状態を検査する外観検査機における検査条件を決定する検査条件決定方法であって、前記部品の撮影時に要求される解像度は予め定められており、前記複数の解像度の各々について、当該解像度で撮影されるべき部品を含むように少なくとも1つの撮影領域を決定する撮影領域決定ステップ(S2、S4)と、前記撮影領域決定ステップで決定された撮影領域を巡回する最短の経路を決定する経路決定ステップ(S10)とを含む。
【選択図】図10

Description

本発明は、撮影時の解像度の異なる複数台のカメラを用いて基板上の部品の実装状態およびはんだの印刷状態を検査する外観検査機における検査条件を決定する方法であり、特に、外観検査を行なう際のカメラの移動経路を決定する方法に関する。
外観検査機は、部品実装機により基板上に実装された部品をカメラで撮影し、得られた画像を画像処理することにより、部品の実装位置や実装状態、およびはんだの印刷状態を検査する装置である。
外観検査を高速に行なうためには、カメラの移動経路を適切に決定することが重要である。カメラの移動経路を決定する方法として、カメラの移動経路を画面上に表示し、オペレータとの対話形式により最短のカメラの移動経路を決定するものがある(例えば、特許文献1参照。)。特許文献1に記載の方法では、検査対象である基板の各領域を撮影する撮影領域の位置が固定的に設定されており、これらの撮影領域を巡回するためのカメラの移動経路をオペレータとの対話形式により求めている。
特開2006−308349号公報
しかしながら、特許文献1では、各撮影領域の位置が固定的に設定されているため、撮影領域間を結ぶことにより得られるカメラの移動経路が、必ずしも最短とは限らない。そのため、カメラの移動経路を十分に短縮することができず、外観検査機による検査時間を十分に短縮することができないという課題がある。
本発明は、上述の課題を解決するためになされたものであり、カメラの移動経路を最小化することにより、外観検査機による検査時間を最小化することができる検査条件決定方法を提供することを目的とする。
上記目的を達成するために、本発明に係る検査条件決定方法は、カメラにより基板上の複数の検査対象領域を撮影し、前記複数の検査対象領域の状態を検査する外観検査機における検査条件を決定する検査条件決定方法であって、各検査対象領域が、前記カメラのいずれかの撮影領域に含まれるように複数の撮影領域を仮設定する仮設定ステップと、前記仮設定ステップで仮設定された各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する決定ステップとを含む。
この方法によると、カメラの移動経路が短くなるように、カメラによる撮影領域の位置と撮影領域を巡回する経路とを最適化することができる。このため、短時間で部品の実装状態等の検査を行なうことができる検査条件を決定することができる。
好ましくは、前記決定ステップでは、前記仮設定ステップで仮設定された各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間に対応する評価値が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する。
さらに好ましくは、前記決定ステップは、前記仮設定ステップで仮設定された撮影領域毎に、当該撮影領域に含まれる検査対象領域を維持した状態において、前記基板上で前記撮影領域に含まれる所定位置が取り得る範囲であるカメラ移動可能領域を決定するカメラ移動可能領域決定ステップと、各カメラ移動可能領域内を1点ずつ通る移動経路の距離が最小となるように、各カメラ移動可能領域に含まれる点と、当該点間の移動経路とを決定することにより、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する移動経路決定ステップとを含む。
カメラ移動可能領域内の点を一点ずつ通るようにカメラ移動可能領域間の最短経路を探索することにより、カメラの移動経路が短くなるように、カメラによる撮影領域の位置と撮影領域を巡回する経路とを最適化することができる。このため、短時間で部品の実装状態等の検査を行なうことができる検査条件を決定することができる。
さらに好ましくは、前記移動経路決定ステップは、各カメラ移動可能領域の角を1点ずつ通る移動経路の距離が最小となるように、各カメラ移動可能領域の角の点と、当該角の点間の移動経路とを決定することにより、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する第1ステップと、カメラ移動可能領域毎に、前記第1ステップで決定された角の点を含み、かつ当該カメラ移動可能領域よりも面積が小さい当該カメラ移動可能領域内の領域を、新たなカメラ移動可能領域と決定する第2ステップと、前記第1ステップおよび前記第2ステップを、前記角の点間の移動経路の距離が収束するまで繰り返す第3ステップとを含む。
カメラ移動可能領域間の最短経路を探索する際に、カメラ移動可能領域の角の点のみに着目して最短経路の探索を行っている。このため、カメラ移動可能領域内のすべての点に着目して最短経路の探索を行う場合に比べ、最短経路の探索を効率よく行うことができる。
なお、本発明は、このような特徴的なステップを含む検査条件決定方法として実現することができるだけでなく、検査条件決定方法に含まれる特徴的なステップを手段とする検査条件決定装置として実現したり、検査条件決定方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明によると、カメラの移動経路を最小化することにより、外観検査機による検査時間を最小化することができる。
以下、本発明の実施の形態に係る外観検査機について説明する。
図1は、本発明の実施の形態に係る外観検査機の外観図である。
外観検査機100は、基板をカメラで撮影することにより、部品の実装状態やはんだの印刷状態を検査する装置である。外観検査機100の左方向より外観検査機100内部に基板20が搬送され、基板20の外観検査が行なわれる。
外観検査機100には、CRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)などの表示部102が設けられており、表示部102には検査結果等が表示される。
図2は、基板上の部品を撮影するカメラ装置の構成を示す図である。
カメラ装置104は、外観検査機100に設けられ、XYロボットにより、基板20上を移動することにより、基板20上の部品を撮影する。
カメラ装置104は、基台110と、基台110に取り付けられた高解像度カメラ106および低解像度カメラ108と、高解像度カメラ106および低解像度カメラ108の先端に取り付けられたリング照明109とを含む。
高解像度カメラ106と低解像度カメラ108とは、視野サイズ(撮影領域のサイズ)および撮影時の解像度(撮影された画像データの解像度)が異なる。高解像度カメラ106と低解像度カメラ108とは同じ画素数を有するカメラであるとする。このため、高解像度カメラ106は、低解像度カメラ108に比べて、視野サイズが狭いものの、解像度は高い。一方、低解像度カメラ108は、高解像度カメラ106に比べて視野サイズが広いものの、解像度は低い。一例として、高解像度カメラ106の視野サイズは、25mm×16mmであり、低解像度カメラ108の視野サイズは、50mm×32mmである。なお、高解像度カメラ106と低解像度カメラ108との画素数が異なっていても良い。
図3は、カメラ装置104を右側方から見た図である。低解像度カメラ108の下方には、リング状に配置されたLED(Light Emitting Diode)よりなるリング照明109が設けられている。リング照明109を基板20上の部品22に照射した状態で、低解像度カメラ108は、部品22を撮影する。なお、リング照明109の光量は、切り替えが可能である。このため、部品22の部材等に基づきリング照明109の光量を切り替えながら部品22の撮影が行なわれる。
図4は、部品が実装された基板20の一例を示す図である。
基板20には、チップ部品や、QFP(Quad Flat Package)などのパッケージ部品などが複数配置されている。外観検査機100は、高解像度カメラ106および低解像度カメラ108を移動させながら、各撮影領域24において部品22を撮影することにより、すべての部品22の検査を行なう。
なお、撮影領域24の端部では部品がうまく撮影できない場合がある。このため、図5に示すように、部品22を撮影する際には、少なくとも撮影領域24の端部から所定の幅(例えば、2mm)内側に部品が来る位置において、部品22の撮影を行なう。
ただし、撮影領域24のサイズは固定である。このため、ある部品22が撮影領域24に納まったとしても、他の部品が撮影領域24よりはみ出してしまう場合がある。また、撮影領域24の一辺よりも部品22の長さの方が長いような場合には、どのように撮影領域24を設定しようとも、部品22は撮影領域24からはみ出してしまう。このような場合には、図6に示すように、撮影領域24を所定の幅(例えば、2mm)だけ重なり合いを持たせるようにしてカメラ装置104を移動させながら、部品22の一部をそれぞれ撮影する。外観検査機100は、撮影された複数の画像を統合することにより、部品22の画像を生成することができる。
また、部品には、高解像度での撮影が必要とされる部品と、低解像度での撮影が可能な部品とが存在する。このとき、高解像度での撮影が必要とされる部品については、高解像度カメラ106による撮影しか許可しないが、低解像度での撮影が可能な部品については、低解像度カメラ108による撮影の他、高解像度カメラ106による撮影も許可するものとする。例えば、図7(a)に示すように、高解像度での撮影が必要とされる部品22aと、低解像度での撮影が可能な部品22bとが並んで基板20上に配置されているものとする。このような場合には、図7(b)に示すように、部品22aを高解像度カメラ106で撮影し、部品22bを低解像度カメラ108で撮影するようにしてもよいし、図7(c)に示すように、部品22aおよび22bを高解像度カメラ106で撮影するようにしてもよい。なお、撮影領域24aは、高解像度カメラ106による撮影領域を示しており、撮影領域24bは、低解像度カメラ108による撮影領域を示している。
図8は、外観検査機100の構成を示す機能ブロック図である。
外観検査機100は、機構部120と、機構制御部111と、表示部102と、入力部103と、記憶部114と、通信I/F(インタフェース)部115と、検査条件決定部116とを備える。
機構部120は、基板を外観検査機100内に搬送するための搬送路、カメラ装置104及びこれらを駆動するモータやコントローラ等を含む機構部品の集合である。
機構制御部111は、検査条件決定部116により決定される検査条件に従い、機構部120を制御する。この制御により、基板20上の部品の実装状態やはんだの印刷状態が検査される。基板20上の部品およびはんだが、特許請求の範囲にいう検査対象領域に対応する。機構制御部111は、特許請求の範囲にいう検査手段に対応する。
表示部102は、上述したようにCRTやLCDである。入力部103は、キーボードやマウス等である。これらは、外観検査機100とオペレータとが対話する等のために用いられる。
記憶部114は、ハードディスクやメモリ等であり、実装データ114a等を記憶する。
実装データ114aは、図9に示すように、実装点毎に、実装される部品の部品種と、実装点座標と、部品サイズと、撮影時に要求される画像の解像度とを記憶するデータである。例えば、1番目の実装点には部品種Aの部品が実装され、実装点の座標は(10,20)であり、部品サイズ(xサイズ,yサイズ)は、(30,45)であり、当該部品を撮影するときに要求される解像度は高解像度であることが示されている。高解像度が要求される部品は、高解像度カメラ106により撮影され、低解像度での撮影が可能な部品は、高解像度カメラ106または低解像度カメラ108により撮影される。実装点の座標は、部品の中心座標であってもよいし、部品の端部(例えば、左上隅)の座標であってもよい。
通信I/F部115は、LAN(Local Area Network)アダプタ等であり、外観検査機100と他の装置との通信等に用いられる。
検査条件決定部116は、部品検査時のカメラ装置104の移動経路や使用するカメラ等の検査条件を決定する処理部である。検査条件決定部116は、特許請求の範囲にいう仮設定手段および決定手段に対応する。
図10は、外観検査機100の検査条件決定部116が実行する処理のフローチャートである。なお、以下に説明する例では、すべての部品を同じ大きさとしているが、部品の大きさが異なる場合であっても同様の処理が行なわれる。
検査条件決定部116は、高解像度カメラ106により部品を撮影する際の撮影領域を決定する(S2)。例を用いて説明を行なうと、図11(a)に示すように基板20上には、高解像度での撮影(高解像度カメラ106による撮影)が要求される部品(以下、「高解像度部品」という。)と、低解像度での撮影(低解像度カメラ108による撮影)が可能な部品(以下、「低解像度部品」という。)とが装着されている。同図では、高解像度部品をハッチングが施された四角形で表し、低解像度部品をハッチングが施されていない四角形で表している。高解像度カメラ106の撮影領域24c(24d)のサイズはあらかじめ固定されている。検査条件決定部116は、撮影領域内に高解像度部品をできるだけ多く含むような撮影領域の配置位置を決定する。その際、上述したように、撮影領域の端部から部品までは所定の距離離すこととする。高解像度部品をできるだけ多く含む撮影領域の配置位置決定方法は、ナップザック問題として定式化することができる。検査条件決定部116は、定式化されたナップザック問題を解くことにより、撮影領域の配置位置を決定する。同図の例では、撮影領域24cおよび24dが配置される。この処理により、すべての高解像度部品がいずれかの撮影領域に含まれることになる。
次に、検査条件決定部116は、低解像度カメラ108により部品を撮影する際の撮影領域を決定する(S4)。例えば、図11(b)に示すように、低解像度カメラ108の撮影領域24e(24f,24g)のサイズはあらかじめ固定されている。検査条件決定部116は、撮影領域内に低解像度部品をできるだけ多く含むような位置に撮影領域を設定する。この場合も、撮影領域の端部から部品までは所定の距離離すこととする。低解像度部品をできるだけ多く含む撮影領域の配置位置決定方法は、S2の処理と同様に、ナップザック問題として定式化することができる。検査条件決定部116は、定式化されたナップザック問題を解くことにより、撮影領域の配置位置を決定する。同図の例では、撮影領域24e、24fおよび24gが配置される。この処理により、すべての低解像度部品がいずれかの撮影領域に含まれることになる。
検査条件決定部116は、S2の処理で配置が決定された撮影領域とS4の処理で配置が決定された撮影領域との統合を行なう(S6)。つまり、検査条件決定部116は、低解像度カメラ108による1回の撮影で撮影対象とされる部品が、高解像度カメラ106による1回の撮影で撮影対象とされる部品に包含されるか否かをチェックし、包含される場合には、2つのカメラによる撮影領域を高解像度カメラ106による撮影領域に統合する。例えば、図11(b)に示される撮影領域24eに含まれる2つの部品は、図11(a)に示される撮影領域24cにすべて含まれている。このため、検査条件決定部116は、撮影領域24cと撮影領域24eとを、図11(c)に示すように撮影領域24cに統合する。また、図11(b)に示される撮影領域24fに含まれる4つの部品は、図11(a)に示される撮影領域24dにすべて含まれる。このため、検査条件決定部116は、撮影領域24dと撮影領域24fとを、図11(c)に示されるように撮影領域24dに統合する。統合の結果、図11(c)に示されるように、高解像度カメラ106の2つの撮影領域24cおよび24dと、低解像度カメラ108の1つの撮影領域24gとが決定される。これにより、高解像度カメラ106による2回の撮影と、低解像度カメラ108による1回の撮影により、基板20上に装着されたすべての部品が撮影され、検査が行なわれることになる。なお、同図に示すように、高解像度カメラ106による撮影領域24cと低解像度カメラ108による撮影領域24gとの双方に含まれる部品22cについては、高解像度カメラ106による撮影画像を用いて検査を行うようにしてもよい。
S6までの処理により、高解像度カメラ106または低解像度カメラ108の撮影領域が仮設定されている。検査条件決定部116は、カメラ装置104が最短の経路で移動することができるように、仮設定された撮影領域の位置を最適な位置に変更するとともに、カメラ装置104による撮影領域の移動経路を決定する(S8)。
図12は、撮影領域の位置および移動経路の決定処理(図10のS8)の詳細を示すフローチャートである。
検査条件決定部116は、S6までの処理で仮設定された各撮影領域について、当該撮影領域に含まれる部品を維持した状態で、撮影領域の中心位置(高解像度カメラ106または低解像度カメラ108の中心軸の位置)が取り得る範囲であるカメラ移動可能領域を決定する(S12)。例えば、図11(c)に示すように、基板20上に、3つの撮影領域24c、24dおよび24gが仮設定されているものとする。このとき、3つの撮影領域24c、24dおよび24gに対するカメラ移動可能領域は、図13に示すようにそれぞれカメラ移動可能領域26c、26dおよび26gとなる。例えば、撮影領域24cに着目すると、撮影領域24cに含まれる4つの部品が納まるように撮影領域24cを基板20上で動かした場合、基板20上で最も左下に位置する場合の撮影領域24cが撮影領域24hであり、撮影領域24hの中心位置が、カメラ移動可能領域26cの左下隅の位置27aになる。また、基板20上で最も右上に位置する場合の撮影領域24cが撮影領域24iであり、撮影領域24iの中心位置が、カメラ移動可能領域26cの右上隅の位置27bになる。同様に、撮影領域24dに含まれる4つの部品が納まるように撮影領域24dを基板20上で動かした場合、基板20上で最も左下に位置する場合の撮影領域24dが撮影領域24jであり、撮影領域24jの中心位置が、カメラ移動可能領域26dの左下隅の位置27cである。また、基板20上で最も右上に位置する場合の撮影領域24dが撮影領域24kであり、撮影領域24kの中心位置が、カメラ移動可能領域26dの右上隅の位置27dである。さらに、撮影領域24gに含まれる7つの部品が納まるように撮影領域24gを基板20上で動かした場合、基板20上で最も左下に位置する場合の撮影領域24gが撮影領域24lであり、撮影領域24lの中心位置が、カメラ移動可能領域26gの左下隅の位置27eである。また、基板20上で最も右上に位置する場合の撮影領域24gが撮影領域24mであり、撮影領域24mの中心位置が、カメラ移動可能領域26gの右上隅の位置27fである。
検査条件決定部116は、カメラ移動可能領域の頂点間を結ぶ距離が最小となる経路を算出する(S14)。なお、カメラ移動可能領域の頂点は、カメラ移動可能領域の四隅の点から選択される。例えば、図14に示すように、基板20上に3つのカメラ移動可能領域26a〜26cが設定されているものとする。このとき、検査条件決定部116は、カメラ移動可能領域26aの四隅の点(頂点28a〜28d)と、カメラ移動可能領域26bの四隅の点(頂点29a〜29d)と、カメラ移動可能領域26cの四隅の点(頂点30a〜30d)とから、それぞれ一点ずつ選択し、頂点間を結ぶ距離が最小となる経路を算出する。
ここで、頂点間を結ぶ距離の算出方法について説明する。図15は、頂点間の距離の算出方法について説明するための図である。
カメラ移動可能領域36の頂点36aと、カメラ移動可能領域37の頂点37aとの間の距離について考える。頂点36aのx座標およびy座標を(x1,y1)とし、頂点37aのx座標およびy座標を(x2,y2)とする。このとき2頂点間の距離は、(数式1)で定義される。
Figure 2010014504
つまり、x成分の距離(図15の矢印39の長さ)とy成分の距離(図15の矢印40の長さ)との大きい方の値を2頂点間の距離と定義する。このように距離を定義しているのは、カメラ装置104は、x軸方向に動かすためのモータとy軸方向に動かすためのモータとにより、x軸方向の移動とy軸方向の移動とが独立に制御されるからである。このため、最大移動速度および最大移動加速度のそれぞれが、x軸方向とy軸方向との間で等しいとした場合には、2頂点間の移動時間は、x成分の距離とy成分の距離の大きいほうに対応する軸方向に駆動させるモータがカメラ装置104を移動させる時間に等しくなる。したがって、逆に、x成分の距離とy成分の距離の小さい方に対応する軸方向に駆動させるモータがカメラ装置104を移動させる時間は、上記移動時間に包含されるため、無視される。
例えば、図16に示すように、カメラ移動可能領域41の頂点41aとカメラ移動可能領域42の頂点42aとの間の距離(ここで、第1経路の距離とする。)と、頂点41aとカメラ移動可能領域42の頂点42bとの間の距離(ここで、第2経路の距離とする。)とを比較する。第1経路の直線経路は矢印43で示され、第2経路の直線経路は矢印46で示される。第1経路および第2経路のユークリッド距離(直線経路の距離)を比較した場合、第1経路のユークリッド距離の方が第2経路のユークリッド距離よりも大きくなる。しかし、(数式1)で示される距離の定義によると、第1経路の距離と第2経路の距離とは等しくなる。つまり、第1経路のx成分の距離(矢印44の距離)とy成分の距離(矢印45の距離)とを比較すると、x成分の距離(矢印44の距離)の方が大きい。また、第2経路のx成分の距離(矢印44の距離)とy成分の距離(矢印47の距離)とを比較すると、x成分の距離(矢印44の距離の方が大きい。このため、第1経路の距離と第2経路の距離とは、ともに矢印44の距離となり、両者は等しくなる。
ここでは、図17に示すような経路が算出されたものとする。つまり、カメラ移動可能領域26aの頂点28dからカメラ移動可能領域26bの頂点29cに移動し、次に、頂点29cからカメラ移動可能領域26cの頂点30cに移動する経路が経路長最小の経路として算出される。このときの経路は矢印31aおよび32aで示される。なお、頂点間を結ぶ距離が最小となる経路および頂点の算出方法については、様々な方法を用いることができる。例えば、開始点となる頂点を任意に選択し、貪欲法に従い、選択された頂点の属するカメラ移動可能領域と異なるカメラ移動可能領域に含まれる頂点のうち、選択された頂点に最も近い頂点を順次選択することにより、各カメラ移動可能領域から1点ずつ頂点を選択し、頂点間を結ぶ経路を算出する。次に、算出された経路に対して、巡回セールスマン問題の2−OPT法を適用することにより、経路長がより短い(コストがより小さい)経路を算出する。
次に、検査条件決定部116は、算出された経路の経路長が収束したか否かを判断する(S16)。例えば、検査条件決定部116は、今回算出された経路の経路長と前回算出された経路の経路長との差を算出し、差が所定の閾値以下となった場合に、経路長が収束したと判断するようにしてもよい。図17に示した例は、初回に算出された経路であるため、経路長は収束していないと判断される。
経路長が収束していないと判断された場合には(S16でNO)、検査条件決定部116は、カメラ移動可能領域を狭めるようにカメラ移動可能領域の再設定を行う(S18)。例えば、図17に示すカメラ移動可能領域26a、26bおよび26cのサイズをそれぞれ1/4に縮小し、図18に示すように再設定後のカメラ移動可能領域26d、26eおよび26fを作成してもよい。カメラ移動可能領域26aを例に取り説明を行うと、検査条件決定部116は、カメラ移動可能領域26aをx軸方向およびy軸方向でそれぞれ二等分し、4つの領域を作成する。検査条件決定部116は、このうち、S14の処理で選択された頂点28dを含む領域26dをカメラ移動可能領域として再設定する。同様に、カメラ移動可能領域26bおよび26cについてもカメラ移動可能領域26eおよび26fが再設定される。
検査条件決定部116は、再設定したカメラ移動可能領域を処理の対象として、S14以降の処理を、経路長が収束するまで繰り返す(S16)。
例えば、図18に示したカメラ移動可能領域26d、26eおよび26fを処理の対象とした場合には、カメラ移動可能領域26dの四隅の点(頂点28d〜28g)と、カメラ移動可能領域26eの四隅の点(頂点29cおよび29e〜29g)と、カメラ移動可能領域26fの四隅の点(頂点30cおよび30e〜30g)とから、それぞれ1点ずつ選択し、頂点間を結ぶ距離が最小となる経路を算出する。ここで、図19に示すような経路が算出されたものとする。つまり、カメラ移動可能領域26dの頂点28fからカメラ移動可能領域26eの頂点29eに移動し、次に、頂点29eからカメラ移動可能領域26fの頂点30eに移動する経路が経路長最小の経路として算出されたものとする。このときの経路は、矢印31bおよび32bで示される。
検査条件決定部116は、経路長が収束したか否かを判断する(S16)。例えば、矢印31bおよび32bで示される経路の経路長と、矢印31aおよび32aで示される経路の経路長との差を求め、差が所定の閾値以下となっていれば経路長が収束したと判断する。矢印31bおよび32bで示される経路について経路長が収束していないと判断された場合には(S16でNO)、検査条件決定部116は、図20に示すように、さらにカメラ移動可能領域を狭めるようにカメラ移動可能領域の再設定を行う(S18)。図20には、再設定後のカメラ移動可能領域26g、26hおよび26iが示されている。カメラ移動可能領域26g、26hおよび26iを処理の対象として経路長最小の経路を求めた結果、図21に示すような経路が得られたとする。つまり、カメラ移動可能領域26gの頂点28fからカメラ移動可能領域26hの頂点29eへ移動し、頂点29eからカメラ移動可能領域26iの頂点30eに移動する経路が経路長最小の経路として算出されたものとする。このときの経路は、矢印31cおよび32cで示される。
矢印31cおよび32cで示される経路の経路長と、矢印31bおよび32bで示される経路の経路長との差が所定の閾値以下となっている場合には、経路長が収束していると判断され(S16でYES)、撮影領域の位置および移動経路の決定処理(図10のS8)が終了する。最終的に求められた経路が撮影領域の中心位置が移動する経路として定められる。また、経路を結ぶ頂点の位置が撮影領域の中心として定められる。
以上説明した処理により、例えば、図11(c)に示す撮影領域24c、24dおよび24gの中心位置の移動経路として、図22の矢印50および51で示されるような経路が決定される。そのときの撮影領域24c、24dおよび24gの位置を撮影領域24p、24qおよび24rとしてそれぞれ示している。
以上説明したように、本実施の形態によると、カメラ移動可能領域内の点を一点ずつ通るようにカメラ移動可能領域間の最短経路を探索することにより、カメラの移動経路が短くなるように、カメラによる撮影領域の位置と撮影領域を巡回する経路とを最適化することができる。このため、短時間で部品の実装状態等の検査を行なうことができる検査条件を決定することができる。
また、カメラ移動可能領域間の最短経路を探索する際に、カメラ移動可能領域の四隅の点のみに着目して最短経路の探索を行っている。このため、カメラ移動可能領域内のすべての点に着目して最短経路の探索を行う場合に比べ、最短経路の探索を効率よく行うことができる。
以上、本発明の実施の形態に係る外観検査機について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、部品毎に、撮影時の照明の強度が予め定められていてもよい。このような場合には、高解像度カメラ106および低解像度カメラ108は、リング照明109の強度を変えながら部品を撮影する。また、カメラの移動経路は以下のように決定してもよい。例えば、図23(a)に示すように、部品が配置されているものとする。ここで、図中の数字は、照明強度を表しており、レベル1またはレベル2の2種類の照明強度が存在するものとする。このような場合には、各レベル強度の部品について、撮影領域を決定する。すなわち、図23(b)に示すように、まず、レベル1の部品のみに着目し、図10に示したS2〜S6の処理を実行し、レベル1の部品の撮影領域を決定する。次に、図23(c)に示すように、レベル2の部品のみに着目し、同様に図10に示したS2〜S6の処理を実行し、レベル2の部品の撮影領域を決定する。次に、決定されたレベル1およびレベル2のすべての撮影領域を対象として、図10のS8の処理(図12のS12〜S18の処理)を実行することにより、撮影領域の位置および撮影領域を探索する経路を決定する。
図24は、決定された撮影領域の一部の探索経路の一例を示す図である。この例では、図24(a)および図24(b)の順に撮影領域が移動する。すなわち、図24(a)に示す撮影領域24iにおいて、高解像度カメラ106がレベル1の照明で部品の撮影を行なった後、同じ位置において照明をレベル2に変更し、再度部品の撮影を行なう。次に、高解像度カメラ106を図24(b)に示す撮影領域24kまで移動させ、同様に、高解像度カメラ106は、レベル1およびレベル2の照明で部品の撮影を行なう。ただし、図24(a)に示す撮影領域24iにおいてレベル1の照明で部品の撮影を行なった後は、部品22iを再度撮影する必要性はない。このような場合には、レベル1の照明での部品撮影後に、次の撮影領域24kに高解像度カメラ106を移動させるようにしてもよい。つまり、図25に示すように撮影領域を移動させてもよい。図25(a)に示す撮影領域24iにおいて、高解像度カメラ106がレベル1の照明で部品の撮影を行なった後、高解像度カメラ106を図25(b)に示す撮影領域24jまで移動させる。次に、高解像度カメラ106が、レベル2の照明で、撮影領域24j内の部品の撮影を行なう。その後、高解像度カメラ106を図25(c)に示す撮影領域24kの位置に移動させ、高解像度カメラ106がレベル1およびレベル2の照明で、撮影領域24k内の部品を撮影する。なお、同じ部品であっても、照明を切り替えて撮影しなければならない部品が存在する。例えば、IC(Integrated Circuit)部品のように、ボディーの部分が黒く、ピンの部分が金属でできているような場合である。このような部品については、基板上の同位置にレベル1の照明の部品とレベル2の照明の部品との2種類の部品が仮想的に存在するものとして、撮影領域の探索経路を求める。
なお、図23〜図25では、すべての部品を高解像度部品としたが、高解像度部品と低解像度部品とが混在していてもよい。このような場合には、照明の切り替えとともに、カメラの切り替えも行なうことになる。
また、上述の実施の形態では、2頂点間の距離を(数式1)で定義したが、2頂点間の距離をユークリッド距離としてもよい。なお、頂点(x1,y1)と頂点(x2,y2)との間のユークリッド距離は、(数式2)で定義される。
Figure 2010014504
また、上述の外観検査機100の機構部120および機構制御部111以外の構成部については、コンピュータを用いて実現することが可能である。この場合には、記憶部114がコンピュータのハードディスクまたはメモリに相当し、検査条件決定部116は図10および図12に示した処理プログラムをCPU上で実行することにより実現される。
また、上述の外観検査機100では、カメラ装置104が2台のカメラを備える場合について説明を行なったが、1台のカメラのみを備え、ズーム処理により、撮影時の解像度を変えながら部品を撮影するものであっても良い。
また、上述の実施の形態では、外観検査機100において検査条件の決定を行なっていたが、外観検査機100に接続されているコンピュータが検査条件を決定するようにしてもよい。つまり、図10および図12に示した外観検査決定処理のプログラムをコンピュータ上で実行することにより、コンピュータを検査条件決定装置として機能させるものであっても良い。なお、コンピュータにより決定された検査条件は、外観検査機100にダウンロードされることにより、外観検査機100は、ダウンロードした検査条件に基づいて検査を行なう。
また、上述の実施の形態では、外観検査機100が部品の実装状態を検査するようにしていたが、部品実装前の基板の表面状態を検査するようにしてもよい。この場合には、部品の実装状態の検査条件を決定する場合と同様に、基板表面の検査対象領域を撮影するための撮影領域を仮設定し、撮影領域間のカメラ装置104の移動時間が最小となるように、撮影領域の位置と巡回経路とを決定するようにしてもよい。
また、基板上に部品を実装する部品実装機内にカメラ装置104が設けられている場合でも本発明は適用可能である。つまり、基板上に部品を実装する前に基板の表面状態を検査する装着前検査と、基板上に部品を実装した後に部品の装着状態を検査する装着後検査とのいずれの検査に対しても、本実施の形態に従い決定された検査条件を適用することが可能である。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、部品の実装状態やはんだの印刷状態を検査する外観検査機等に適用できる。
本発明の実施の形態に係る外観検査機の外観図である。 基板上の部品を撮影するカメラ装置の構成を示す図である。 カメラ装置を右側方から見た図である。 部品が実装された基板の一例を示す図である。 部品の撮影領域を説明するための図である。 部品の撮影領域を説明するための図である。 高解像度での撮影が要求される部品と低解像度での撮影が要求される部品とが近傍に配置されている場合の撮影領域について説明するための図である。 外観検査機の構成を示す機能ブロック図である。 実装データの一例を示す図である。 外観検査機の検査条件決定部が実行する処理のフローチャートである。 図10のS2〜S6の処理を説明するための図である。 撮影領域の位置および移動経路の決定処理(図10のS8)の詳細を示すフローチャートである。 カメラ移動可能領域について説明するための図である。 カメラ移動可能領域とカメラ移動可能領域の四隅の点との一例を示す図である。 頂点間の距離の算出方法について説明するための図である。 頂点間の距離の算出方法について説明するための他の図である。 算出された経路の一例を示す図である。 再設定後のカメラ移動可能領域の一例を示す図である。 再設定後のカメラ移動領域から算出された経路の一例を示す図である。 再設定後のカメラ移動可能領域の一例を示す図である。 再設定後のカメラ移動領域から算出された経路の一例を示す図である。 撮影領域の中心位置の移動経路の一例を示す図である。 撮影時の照明強度が異なる部品が混在する場合の撮影領域の経路決定処理を説明するための図である。 撮影時の照明強度が異なる部品が混在する場合の撮影領域の経路決定処理を説明するための図である。 撮影時の照明強度が異なる部品が混在する場合の撮影領域の経路決定処理を説明するための図である。
符号の説明
100 外観検査機
102 表示部
103 入力部
104 カメラ装置
106 高解像度カメラ
108 低解像度カメラ
109 リング照明
110 基台
111 機構制御部
114 記憶部
114a 実装データ
115 通信I/F部
116 検査条件決定部
120 機構部

Claims (7)

  1. カメラにより基板上の複数の検査対象領域を撮影し、前記複数の検査対象領域の状態を検査する外観検査機における検査条件を決定する検査条件決定方法であって、
    各検査対象領域が、前記カメラのいずれかの撮影領域に含まれるように複数の撮影領域を仮設定する仮設定ステップと、
    前記仮設定ステップで仮設定された各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する決定ステップと
    を含む検査条件決定方法。
  2. 前記決定ステップでは、前記仮設定ステップで仮設定された各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間に対応する評価値が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する
    請求項1に記載の検査条件決定方法。
  3. 前記決定ステップは、
    前記仮設定ステップで仮設定された撮影領域毎に、当該撮影領域に含まれる検査対象領域を維持した状態において、前記基板上で前記撮影領域に含まれる所定位置が取り得る範囲であるカメラ移動可能領域を決定するカメラ移動可能領域決定ステップと、
    各カメラ移動可能領域内を1点ずつ通る移動経路の距離が最小となるように、各カメラ移動可能領域に含まれる点と、当該点間の移動経路とを決定することにより、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する移動経路決定ステップとを含む
    請求項2に記載の検査条件決定方法。
  4. 前記移動経路決定ステップは、
    各カメラ移動可能領域の角を1点ずつ通る移動経路の距離が最小となるように、各カメラ移動可能領域の角の点と、当該角の点間の移動経路とを決定することにより、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する第1ステップと、
    カメラ移動可能領域毎に、前記第1ステップで決定された角の点を含み、かつ当該カメラ移動可能領域よりも面積が小さい当該カメラ移動可能領域内の領域を、新たなカメラ移動可能領域と決定する第2ステップと、
    前記第1ステップおよび前記第2ステップを、前記角の点間の移動経路の距離が収束するまで繰り返す第3ステップとを含む
    請求項3に記載の検査条件決定方法。
  5. カメラにより基板上の複数の検査対象領域を撮影し、前記複数の検査対象領域の状態を検査する外観検査機における検査条件を決定する検査条件決定装置であって、
    各検査対象領域が、前記カメラのいずれかの撮影領域に含まれるように複数の撮影領域を仮設定する仮設定手段と、
    前記仮設定手段が仮設定した各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する決定手段と
    を備える検査条件決定装置。
  6. カメラにより基板上の複数の検査対象領域を撮影し、前記複数の検査対象領域の状態を検査する外観検査機であって、
    カメラと、
    各検査対象領域が、前記カメラのいずれかの撮影領域に含まれるように複数の撮影領域を仮設定する仮設定手段と、
    前記仮設定手段が仮設定した各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する決定手段と、
    前記カメラを前記決定手段で決定された前記複数の撮影領域の移動経路で移動させながら、各撮影領域の画像を前記カメラに撮影させることにより、当該画像に含まれる前記検査対象領域の状態を検査する検査手段と
    を備える外観検査機。
  7. カメラにより基板上の複数の検査対象領域を撮影し、前記複数の検査対象領域の状態を検査する外観検査機における検査条件を決定するプログラムであって、
    各検査対象領域が、前記カメラのいずれかの撮影領域に含まれるように複数の撮影領域を仮設定する仮設定ステップと、
    前記仮設定ステップで仮設定された各撮影領域に含まれる検査対象領域を維持した状態において各撮影領域が取り得る候補位置の中から、前記複数の撮影領域間の前記カメラの移動時間が最小となるように、前記複数の撮影領域の位置と、前記カメラによる前記複数の撮影領域の移動経路とを決定する決定ステップと
    をコンピュータに実行させるためのプログラム。
JP2008173985A 2008-07-02 2008-07-02 検査条件決定方法 Expired - Fee Related JP5354978B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008173985A JP5354978B2 (ja) 2008-07-02 2008-07-02 検査条件決定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008173985A JP5354978B2 (ja) 2008-07-02 2008-07-02 検査条件決定方法

Publications (2)

Publication Number Publication Date
JP2010014504A true JP2010014504A (ja) 2010-01-21
JP5354978B2 JP5354978B2 (ja) 2013-11-27

Family

ID=41700749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008173985A Expired - Fee Related JP5354978B2 (ja) 2008-07-02 2008-07-02 検査条件決定方法

Country Status (1)

Country Link
JP (1) JP5354978B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055322A (ko) * 2010-11-23 2012-05-31 주식회사 고영테크놀러지 검사방법
WO2014041624A1 (ja) * 2012-09-12 2014-03-20 富士機械製造株式会社 対基板作業システム、作業手順最適化プログラム、作業台数決定プログラム
WO2015026211A1 (ko) * 2013-08-23 2015-02-26 주식회사 고영테크놀러지 기판 검사 장치
JPWO2016075790A1 (ja) * 2014-11-13 2017-08-24 富士機械製造株式会社 装着機及び装着機を用いた電子部品の吸着姿勢検査方法
JP2018142300A (ja) * 2017-02-23 2018-09-13 ザ・ボーイング・カンパニーThe Boeing Company アセンブリの状態検証のための進路の識別
WO2019116550A1 (ja) * 2017-12-15 2019-06-20 株式会社Fuji 制御装置、実装装置、情報処理装置及び情報処理方法
JP2019184575A (ja) * 2018-04-05 2019-10-24 ファナック株式会社 測定動作パラメータ調整装置、機械学習装置及びシステム
KR20220114864A (ko) * 2021-02-09 2022-08-17 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법
US11579000B2 (en) 2018-04-05 2023-02-14 Fanuc Corporation Measurement operation parameter adjustment apparatus, machine learning device, and system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763199B1 (ko) 2016-06-14 2017-08-03 한국화학연구원 미세 대상물 관찰 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08193958A (ja) * 1995-07-24 1996-07-30 Omron Corp 基板検査装置及び基板検査方法
JPH09127007A (ja) * 1995-11-02 1997-05-16 Omron Corp 実装基板検査装置
JP2004272791A (ja) * 2003-03-11 2004-09-30 Sumitomo Heavy Ind Ltd 加工矩形の配置方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08193958A (ja) * 1995-07-24 1996-07-30 Omron Corp 基板検査装置及び基板検査方法
JPH09127007A (ja) * 1995-11-02 1997-05-16 Omron Corp 実装基板検査装置
JP2004272791A (ja) * 2003-03-11 2004-09-30 Sumitomo Heavy Ind Ltd 加工矩形の配置方法及び装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055322A (ko) * 2010-11-23 2012-05-31 주식회사 고영테크놀러지 검사방법
JP2012112961A (ja) * 2010-11-23 2012-06-14 Koh Young Technology Inc 検査方法
KR101692277B1 (ko) 2010-11-23 2017-01-04 주식회사 고영테크놀러지 검사방법
US9664628B2 (en) 2010-11-23 2017-05-30 Koh Young Technology Inc. Inspection method
WO2014041624A1 (ja) * 2012-09-12 2014-03-20 富士機械製造株式会社 対基板作業システム、作業手順最適化プログラム、作業台数決定プログラム
JPWO2014041624A1 (ja) * 2012-09-12 2016-08-12 富士機械製造株式会社 対基板作業システム、作業手順最適化プログラム、作業台数決定プログラム
WO2015026211A1 (ko) * 2013-08-23 2015-02-26 주식회사 고영테크놀러지 기판 검사 장치
KR101501129B1 (ko) * 2013-08-23 2015-03-12 주식회사 고영테크놀러지 기판 검사 장치
CN105518440A (zh) * 2013-08-23 2016-04-20 株式会社高永科技 基板检查装置
JP2016530521A (ja) * 2013-08-23 2016-09-29 コー・ヤング・テクノロジー・インコーポレーテッド 基板検査装置
JPWO2016075790A1 (ja) * 2014-11-13 2017-08-24 富士機械製造株式会社 装着機及び装着機を用いた電子部品の吸着姿勢検査方法
JP2018142300A (ja) * 2017-02-23 2018-09-13 ザ・ボーイング・カンパニーThe Boeing Company アセンブリの状態検証のための進路の識別
JP7050472B2 (ja) 2017-02-23 2022-04-08 ザ・ボーイング・カンパニー アセンブリの状態検証のための進路の識別
WO2019116550A1 (ja) * 2017-12-15 2019-06-20 株式会社Fuji 制御装置、実装装置、情報処理装置及び情報処理方法
JPWO2019116550A1 (ja) * 2017-12-15 2020-11-19 株式会社Fuji 制御装置、実装装置、情報処理装置及び情報処理方法
JP7084416B2 (ja) 2017-12-15 2022-06-14 株式会社Fuji 情報処理装置及び情報処理方法
JP2019184575A (ja) * 2018-04-05 2019-10-24 ファナック株式会社 測定動作パラメータ調整装置、機械学習装置及びシステム
US11579000B2 (en) 2018-04-05 2023-02-14 Fanuc Corporation Measurement operation parameter adjustment apparatus, machine learning device, and system
KR20220114864A (ko) * 2021-02-09 2022-08-17 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법
KR102576041B1 (ko) * 2021-02-09 2023-09-07 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법

Also Published As

Publication number Publication date
JP5354978B2 (ja) 2013-11-27

Similar Documents

Publication Publication Date Title
JP5354978B2 (ja) 検査条件決定方法
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP2005062148A (ja) 平坦なパターン形成済み媒体検査用の方法と装置
KR101501129B1 (ko) 기판 검사 장치
JP2014203309A (ja) 画像処理装置、制御方法およびプログラム
JP4709762B2 (ja) 画像処理装置及び方法
WO2017161946A1 (zh) 一种aoi图像采集方法和装置
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
JP2018138871A (ja) 基板検査装置
JP5566707B2 (ja) 外観検査装置及び外観検査方法
JP4763652B2 (ja) 検査条件決定方法
JP4041042B2 (ja) 欠陥確認装置および欠陥確認方法
JP4477863B2 (ja) 細胞計測支援システムおよび細胞観察装置
JP6903270B2 (ja) 電子部品搬送装置および電子部品検査装置
US20230229879A1 (en) Installation support device and installation support method for stationary code reader
JP2008192741A (ja) 電極パッド位置の検出方法及び電極パッド位置検出装置
JP2022104646A (ja) 荷物検品装置、荷物検品方法、プログラム、及び荷物検品システム
JP6792369B2 (ja) 回路基板の検査方法及び検査装置
JP2021068929A (ja) 撮像機器及び撮像方法
JP2012233782A (ja) 形状認識方法、形状認識装置及び実装基板生産装置
JP2013062378A (ja) 位置決め装置、および位置決め方法
KR101029460B1 (ko) 영상 센터링 방법
JP6751567B2 (ja) 電子部品検査方法、電子部品実装方法、及び電子部品実装装置
JP4760072B2 (ja) X線検査装置及びx線検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130827

R150 Certificate of patent or registration of utility model

Ref document number: 5354978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees