JP2009146328A - Device for mounting electronic part and method to read one-dimensional bar code - Google Patents
Device for mounting electronic part and method to read one-dimensional bar code Download PDFInfo
- Publication number
- JP2009146328A JP2009146328A JP2007325551A JP2007325551A JP2009146328A JP 2009146328 A JP2009146328 A JP 2009146328A JP 2007325551 A JP2007325551 A JP 2007325551A JP 2007325551 A JP2007325551 A JP 2007325551A JP 2009146328 A JP2009146328 A JP 2009146328A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- divided
- unit
- image
- barcode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 127
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 239000000758 substrate Substances 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 4
- 230000001070 adhesive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
Images
Landscapes
- Supply And Installment Of Electrical Components (AREA)
- Die Bonding (AREA)
Abstract
Description
本発明は、電子部品実装用装置および電子部品実装用装置において基板や電子部品を保持する部品保持部に予め印加された1次元バーコードを読み取る1次元バーコードの読取り方法に関するものである。 The present invention relates to an electronic component mounting apparatus and a method for reading a one-dimensional barcode that reads a one-dimensional barcode applied in advance to a component holding unit that holds a substrate or an electronic component in the electronic component mounting apparatus.
近年製造業においては、製品の品質保証上の要請から個々の製品履歴の追跡を可能とするいわゆるトレーサビリティの確保が求められている。例えば電子機器製造分野では、後工程または製品出荷後に不具合が発見された場合に原因を究明できるよう、工程を遡って不具合品を特定することが求められている。このため電子部品製造ラインや電子部品実装ラインなどの生産ラインを流れる基板や電子部品を保持するウェハ冶具などには、品種名や製造ロット番号、製造日付などを示す識別情報が、1次元バーコードなどの情報コードなどを用いて個別に印加される。そしてこれらの基板やウェハ冶具が生産ラインを構成する各装置に搬入されるたびにバーコードの読み取りが行われる。このような1次元バーコードの読み取りは一般にレーザセンサを用いた専用のバーコード読取り装置によって行われ、1次元バーコードをレーザ光でスキャンすることにより情報が読み取られる(特許文献1参照)。この特許文献においては、部品供給部の上方で移動する移動ビームにバーコード読取ヘッドを装着して、ウェハ冶具に貼付されたバーコードを読み取るようにしている。
しかしながら上述の特許文献に示すバーコードの読み取りにおいては、専用装置を備える必要があることから、設備コストの増大が避けられないという問題とともに、読み取り装置の取付方向によって読み取り方向が規定されることから、読み取り可能なバーコードの貼付方向に制約があった。このように従来の電子部品実装においては、基板やウェハ冶具などに印加された1次元バーコードの読み取りを簡便・低コストな機構によってバーコードの貼付位置の制約なく行うことが困難であった。 However, in reading barcodes shown in the above-mentioned patent documents, since it is necessary to provide a dedicated device, the increase in equipment cost is unavoidable, and the reading direction is defined by the mounting direction of the reading device. There were restrictions on the direction in which readable barcodes could be applied. As described above, in conventional electronic component mounting, it is difficult to read a one-dimensional barcode applied to a substrate, a wafer jig, or the like without restriction of a barcode application position by a simple and low-cost mechanism.
そこで本発明は、1次元バーコードの読み取りを簡便・低コストな機構でバーコードの貼付位置の制約なく行うことができる電子部品実装用装置および1次元バーコードの読取り方法を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide an electronic component mounting apparatus and a one-dimensional barcode reading method capable of reading a one-dimensional barcode with a simple and low-cost mechanism without restriction on the barcode application position. And
本発明の電子部品実装用装置は、基板保持部によって保持された基板およびまたは電子部品を供給する部品供給部において前記電子部品を保持する部品保持部を撮像する撮像手段と、前記撮像手段を撮像対象に対して相対移動させる撮像移動手段と、前記撮像手段によって取得された画像データを認識処理する認識処理部と、前記基板およびまたは前記部品保持部に予め印加されサイズが前記撮像手段の撮像視野のサイズよりも大きい1次元バーコードを、前記撮像移動手段によって前記撮像手段を移動させながらこの撮像手段によって複数回撮像して前記1次元バーコードを複数に分割した分割画像を取得するための分割撮像パターンを設定するバーコード分割撮像パターン設定部と、前記撮像手段および撮像移動手段を前記分割撮像パターンに基づいて制御する撮像制御部と、前記分割画像を合成することにより前記1次元バーコードの単一の画像を生成するバーコード画像合成部と、合成された前記単一の画像から前記1次元バーコードの情報を読み取るバーコード読取部とを備え、前記バーコード分割撮像パターン設定部は、相隣する2つの前記分割画像の
端部が相互に所定の重複幅だけ重なるように前記分割撮像パターンを設定し、前記バーコード画像合成部は、前記相隣する2つの前記分割画像の前記重複幅の範囲に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、前記相隣する2つの分割画像の位置合わせを行う。
The electronic component mounting apparatus according to the present invention includes an imaging unit that images the substrate held by the substrate holding unit and / or the component holding unit that holds the electronic component in the component supply unit that supplies the electronic component, and the imaging unit An imaging moving unit that moves relative to a target, a recognition processing unit that recognizes image data acquired by the imaging unit, and an imaging field of view of the imaging unit that is applied in advance to the substrate and / or the component holding unit. A division for obtaining a divided image obtained by dividing the one-dimensional barcode into a plurality of images by imaging a one-dimensional barcode larger than the one-dimensional barcode by the imaging means a plurality of times while moving the imaging means by the imaging movement means. A barcode divided imaging pattern setting unit for setting an imaging pattern, the imaging unit and the imaging moving unit are connected to the divided imaging pattern. An image pickup control unit that controls the image based on the image, a barcode image synthesis unit that generates a single image of the one-dimensional barcode by synthesizing the divided images, and the 1 image from the synthesized single image. A barcode reading unit that reads information of a three-dimensional barcode, and the barcode divided imaging pattern setting unit is configured to perform the divided imaging so that end portions of two adjacent divided images overlap each other by a predetermined overlapping width. A pattern is set, and the barcode image synthesis unit performs pattern matching on a matching region set in the overlapping width range of the two adjacent divided images, thereby performing the two adjacent Align the divided images.
本発明の1次元バーコードの読取り方法は、基板保持部によって保持された前記基板およびまたは前記部品供給部において前記電子部品を保持する部品保持部を撮像する撮像手段と、前記撮像手段を撮像対象に対して相対移動させる撮像移動手段と、前記撮像手段によって取得された画像データを認識処理する認識処理部とを備えた電子部品実装用装置において、前記基板およびまたは前記部品保持部に予め印加されサイズが前記撮像手段の撮像視野のサイズよりも大きい1次元バーコードを読み取る1次元バーコードの読取り方法であって、前記撮像移動手段によって前記撮像手段を移動させながらこの撮像手段によって前記1次元バーコードを複数回撮像してこの1次元バーコードを複数に分割した分割画像を取得するための分割撮像パターンを設定する分割撮像パターン設定工程と、前記撮像手段および撮像移動手段を前記分割撮像パターンにしたがって制御することにより複数の前記分割画像を取得する分割画像取得工程と、前記分割画像を合成することにより前記1次元バーコードの単一の画像を生成する画像合成工程と、合成された前記単一の画像から前記1次元バーコードの情報を読み取る情報読取工程とを含み、前記分割撮像パターン設定工程において、相隣する2つの前記分割画像の端部が相互に所定の重複幅だけ重なるように前記分割撮像パターンを設定し、前記画像合成工程において、前記相隣する2つの前記分割画像の前記重複幅の範囲に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、前記相隣する2つの分割画像の位置合わせを行う。 The method for reading a one-dimensional barcode of the present invention includes: an imaging unit that images the board held by the board holding unit and / or a component holding unit that holds the electronic component in the component supply unit; In an electronic component mounting apparatus comprising an imaging moving means for relative movement with respect to the image processing apparatus and a recognition processing section for recognizing image data acquired by the imaging means, it is applied in advance to the substrate and / or the component holding section. A method for reading a one-dimensional barcode, wherein a one-dimensional barcode is read, wherein the one-dimensional barcode is larger than the size of the imaging field of view of the imaging means, and the imaging means moves the imaging means while the imaging means moves the one-dimensional bar. A divided imaging path for acquiring a divided image obtained by imaging the code a plurality of times and dividing the one-dimensional barcode into a plurality of parts. A divided imaging pattern setting step for setting an image; a divided image acquiring step for acquiring a plurality of the divided images by controlling the imaging means and the imaging moving means according to the divided imaging pattern; and the divided images are synthesized. An image synthesizing step for generating a single image of the one-dimensional bar code, and an information reading step for reading the information of the one-dimensional bar code from the synthesized single image. In the step, the divided imaging pattern is set so that ends of two adjacent divided images overlap each other by a predetermined overlapping width, and in the image synthesis step, the two adjacent divided images By performing pattern matching on the matching area set in the overlap width range, the positions of the two adjacent divided images It performs fast-growing.
本発明によれば、撮像手段および撮像移動手段を分割撮像パターンにしたがって制御して1次元バーコードを複数に分割した分割画像を取得し、取得された分割画像を合成して1次元バーコードの単一の画像を生成し、合成された単一の画像から1次元バーコードの情報を読み取る構成とすることにより、大視野の撮像手段や専用の読み取り装置を必要とすることなく、1次元バーコードの読み取りを簡便な機構で低コストで行うことができる。 According to the present invention, the image pickup means and the image pickup moving means are controlled according to the divided image pickup pattern to obtain a divided image obtained by dividing the one-dimensional barcode into a plurality of parts, and the obtained divided images are combined to obtain the one-dimensional barcode. By generating a single image and reading the information of the one-dimensional barcode from the combined single image, the one-dimensional bar can be obtained without requiring a large-field imaging means or a dedicated reading device. The code can be read at a low cost with a simple mechanism.
次に本発明の実施の形態を図面を参照して説明する。図1は本発明の一実施の形態の電子部品搭載装置の平面図、図2は本発明の一実施の形態の電子部品搭載装置の側断面図、図3は本発明の一実施の形態の電子部品搭載装置の平断面図、図4は本発明の一実施の形態の電子部品搭載装置において読取り対象となる1次元バーコードの貼着位置の説明図、図5は本発明の一実施の形態の電子部品搭載装置の制御系の構成を示すブロック図、図6は本発明の一実施の形態の1次元バーコードの読取り方法の処理フロー図、図7、図8、図9は本発明の一実施の形態の1次元バーコードの読取り方法を示す説明図である。 Next, embodiments of the present invention will be described with reference to the drawings. 1 is a plan view of an electronic component mounting apparatus according to an embodiment of the present invention, FIG. 2 is a side sectional view of the electronic component mounting apparatus according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention. FIG. 4 is a plan sectional view of the electronic component mounting apparatus, FIG. 4 is an explanatory view of the attachment position of the one-dimensional barcode to be read in the electronic component mounting apparatus of one embodiment of the present invention, and FIG. 5 is one embodiment of the present invention. 6 is a block diagram showing the configuration of the control system of the electronic component mounting apparatus according to the embodiment, FIG. 6 is a process flow diagram of the one-dimensional barcode reading method according to one embodiment of the present invention, and FIGS. It is explanatory drawing which shows the reading method of the one-dimensional barcode of one embodiment.
まず図1、図2、図3を参照して、電子部品実装用装置としての電子部品搭載装置の全体構造について説明する。図2は図1におけるA−A矢視を、また図3は図2におけるB−B矢視をそれぞれ示している。図1において、基台1上には部品供給部2が配設されている。図2,図3に示すように、部品供給部2は冶具保持部3を備えており、冶具保持部3は、シート5が装着されたウェハ冶具4を着脱自在に保持する。シート5は、上面に複数の電子部品6を粘着して保持する。すなわちウェハ冶具4は、部品供給部2において電子部品6を保持する部品保持部となっている。
First, the overall structure of an electronic component mounting apparatus as an electronic component mounting apparatus will be described with reference to FIG. 1, FIG. 2, and FIG. 2 shows an AA arrow view in FIG. 1, and FIG. 3 shows a BB arrow view in FIG. In FIG. 1, a
図2に示すように、冶具保持部3に保持されたシート5の下方には、エジェクタ8がエジェクタ移動テーブル7によって水平移動可能に配設されている。エジェクタ8は上面に
シート5の下面に当接して下受けするとともに、電子部品6をピックアップしてシート5から取り出す際に、シート5からの電子部品6の剥離を促進する機能を有している。エジェクタ移動テーブル7は、XYテーブル機構を備えており、これにより、エジェクタ8はシート5の下面に沿って水平方向に移動する。
As shown in FIG. 2, an
図3に示すように、基台1の上面の電子部品供給部2からY方向へ離れた位置には、電子部品6が搭載される基板13を保持する基板保持部10が配置されている。基板保持部10の上流側、下流側にはそれぞれ基板搬入コンベア11、基板搬出コンベア12がX方向に直列に配列されている。基板搬入コンベア11は、基台1と連結されたサブ基台1a上に跨って配置されており、サブ基台1a上には接着剤供給部9が配設されている。接着剤供給部9は、上流側から基板搬入コンベア11に搬入された基板13に対して、チップ接着用の接着剤を塗布する。接着剤塗布後の基板13は基板保持部10に渡され、ここで電子部品が搭載された実装後の基板13は、基板搬出コンベア12によって下流側に搬出される。
As shown in FIG. 3, a
図1において、基台1の上面の両端部には、第1のY軸ベース20A,第2のY軸ベース20Bが基板搬送方向(X方向)と直交するY方向に長手方向を向けて配設されている。第1のY軸ベース20A,第2のY軸ベース20Bの上面には、長手方向(Y方向)に略全長にわたって第1方向ガイド21が配設されている。
In FIG. 1, the first Y-axis base 20A and the second Y-axis base 20B are arranged at both ends of the upper surface of the
これらの1対の第1方向ガイド21には、第1ビーム部材31,センタービーム部材30および第2ビーム部材32の3つのビーム部材が、それぞれ両端部を第1方向ガイド21によって支持されてY方向にスライド自在に架設されている。センタービーム部材30は、ナット部材23b、送りねじ23aおよびY軸モータ22より成るセンタービームY軸移動機構によって第1方向ガイド21に沿ってY方向に水平移動する。また、第1ビーム部材31は、ナット部材25b、送りねじ25aおよびY軸モータ24より成る第1Y軸移動機構によって第1方向ガイド21に沿ってY方向に水平移動する。さらに第2ビーム部材32は、ナット部材27b、送りねじ27aおよびY軸モータ26より成る第2Y軸移動機構によって第1方向ガイド21に沿ってY方向に水平移動する。
The pair of
センタービーム部材30には搭載ヘッド33が装着されており、搭載ヘッド33は、ナット部材41b、送りねじ41aおよびX軸モータ40より成るセンタービームX軸移動機構によって第2方向ガイド42(図2参照)に案内されてX方向に移動する。搭載ヘッド33は、部品供給部2から電子部品6を取り出して、基板保持部10に保持された基板13に移送搭載する。
A mounting
第1ビーム部材31には、第1のカメラ34が装着されており、第1のカメラ34は、ナット部材44b、送りねじ44aおよびX軸モータ43より成る第1X軸移動機構によって第1ビーム部材31の側面に設けられた第2方向ガイド45(図2参照)に案内されてX方向に移動する。第2ビーム部材32には、第2のカメラ35が装着されている。第2のカメラ35は、ナット部材47b、送りねじ47aおよびX軸モータ46より成る第2X軸移動機構によって第2ビーム部材32の側面に設けられた第2方向ガイド48(図2参照)に案内されてX方向に移動する。
A
第1X軸移動機構および第1Y軸移動機構を駆動することにより、第1のカメラ34はX方向、Y方向に水平移動する。これにより、第1のカメラ34は基板保持部10に保持された基板13を撮像するための基板保持部10の上方での移動を行うことができる。また第2X軸移動機構および第2Y軸移動機構を駆動することにより、第2のカメラ35はX方向、Y方向に水平移動する。これにより、第2のカメラ35は部品供給部2においてシート5に保持された電子部品6を撮像するとともに、部品供給部2において電子部品6
を保持する部品保持部であるウェハ冶具4を撮像する。
By driving the first X-axis moving mechanism and the first Y-axis moving mechanism, the
The
したがって、第1のカメラ34、第2のカメラ35は、基板保持部10によって保持された基板13およびまたは電子部品6を供給する部品供給部2において電子部品6を保持する部品保持部としてのウェハ冶具4を撮像する撮像手段となっている。そして第1のカメラ34を移動させる第1X軸移動機構および第1Y軸移動機構、第2のカメラ35を移動させる第2X軸移動機構および第2Y軸移動機構は、上記撮像手段を撮像対象に対して相対移動させる撮像移動手段となっている。なお本実施の形態においては、電子部品を保持する部品保持部としてチップ状の電子部品6を貼着保持するウェハ冶具4の例を示しているが、部品保持部としてパッケージ部品などを所定配列で収納保持するトレイを用いる例であってもよい。
Therefore, the
図3に示すように、電子部品供給部2と基板保持部10との間の搭載ヘッド移動機構による搭載ヘッド33の移動範囲内には、第3のカメラ17が配設されている。第3のカメラ17はライン型カメラであり、上面に配設された照明部17aを点灯した状態で、電子部品供給部2において電子部品6をピックアップした搭載ヘッド33が第3のカメラ17の上方をX方向に移動することにより、搭載ヘッド33のノズル33aに保持された電子部品6を下方から観察して電子部品6の画像を撮り込む。
As shown in FIG. 3, the
次に図4を参照して、基板13に形成された認識マーク13aおよび1次元バーコード15について説明する。図4(a)に示すように、基板13において対をなす2つの相対向する対角位置には、認識マーク13aが設けられている。基板搬入コンベア11によって搬送され部品実装位置まで搬送された基板13の上方に第1のカメラ34を移動させ、第1のカメラ34によって2つの認識マーク13aを順次撮像した画像を認識処理することにより、認識マーク13aの位置が認識される。搭載ヘッド33による基板13への部品搭載動作においては、認識マーク13aの位置認識結果および第1のカメラ34による電子部品6の位置認識結果に基づいて、電子部品6を基板13に搭載する際の位置補正が行われる。
Next, the recognition mark 13a and the one-
基板13の1つの対角位置における認識マーク13aの近傍には、当該基板13についての各種の情報が記録された1次元バーコード15が、バーコードラベルを貼着する方法などによって予め前工程にて印加されている。1次元バーコード15には、当該基板を個体として識別するためのID情報や、当該基板の品種・属性を含む製品情報など基板13に関する情報が織り込まれている。1次元バーコード15は認識マーク13aと同様に第1のカメラ34によって撮像されることにより画像として取り込まれ、この画像を認識処理することにより上述の各種の情報が読み取られる。
In the vicinity of the recognition mark 13 a at one diagonal position of the
図4(b)は、部品供給部2に保持されたウェハ冶具4に印加された1次元バーコード15Aを示している。この場合にも同様に、1次元バーコード15Aは電子部品6を貼着保持するシート5もしくはシート5が展張されたリング状のウェハ冶具4のいずれかにバーコードラベルを貼着する方法などによって印加される。1次元バーコード15Aには、当該電子部品6の集合体であるウェハとして識別するためのID情報や、当該電子部品6の品種・属性を含む製品情報など、電子部品6に関する情報が織り込まれている。1次元バーコード15Aは同様に第2のカメラ35によって撮像されることにより画像として取り込まれ、この画像を認識処理することにより上述の各種の情報が読み取られる。
FIG. 4B shows a one-
1次元バーコード15、15Aを撮像するために使用される第1のカメラ34、第2のカメラ35は、本来認識マーク13aや個別の電子部品6を対象として撮像することを目的として設けられており、撮像視野寸法は認識マーク13aや個別の電子部品6を完全に包含することが可能なサイズとなっている。これに対し、1次元バーコード15,15A
は認識マーク13aや個別の電子部品6のサイズよりも大きく、第1のカメラ34、第2のカメラ35の撮像視野によってバーコード全体をカバーすることができない(図7参照)。このため、本実施の形態においては、以下に説明するように、1次元バーコード15,15Aを第1のカメラ34、第2のカメラ35によって複数回撮像して1次元バーコード15,15Aの分割画像を取得し、取得された分割画像を合成することによって1次元バーコード15,15Aの単一画像を得るようにしている。
The
Is larger than the size of the recognition mark 13a or the individual
次に図5を参照して制御系の構成を説明する。なおここでは、電子部品搭載装置の制御機能のうち、1次元バーコード15,15Aの撮像および読み取りに関連する機能についてのみ示している。図5において、制御部50はCPUを備えた演算装置であり、以下に説明する各部を統括する制御を行う。記憶部51はハードディスクなどの記憶装置であり、以下に説明する各種処理のための制御プログラムを記憶するほか、電子部品実装の対象となる基板13やウェハ冶具4に予め前工程にて印加された1次元バーコード15,15Aの形状・サイズに関するデータを含む基板データ、部品データを予め記憶している。
Next, the configuration of the control system will be described with reference to FIG. Here, of the control functions of the electronic component mounting apparatus, only functions related to imaging and reading of the one-
バーコード分割撮像パターン設定部52は、基板およびまたは部品保持部に予め印加され、サイズが第1のカメラ34、第2のカメラ35の撮像視野のサイズよりも大きい1次元バーコード15、15Aを複数に分割した分割画像を、第1のカメラ34、第2のカメラ35によって取得するための分割撮像パターンを設定する。これらの分割画像は、撮像移動手段によって第1のカメラ34、第2のカメラ35を移動させながら第1のカメラ34、第2のカメラ35によって1次元バーコード15,15Aを複数回撮像することにより取得される。ここでバーコード分割撮像パターン設定部52は、撮像視野のサイズと記憶部51に記憶された1次元バーコード15、15Aのサイズとに基づいて、分割撮像パターンを設定するようになっている。さらに、バーコード分割撮像パターン設定部52は、相隣する2つの分割画像の端部が相互に所定の重複幅だけ重なるように分割撮像パターンを設定する。
The barcode division imaging
バーコード画像合成部53は、第1のカメラ34、第2のカメラ35によって取得された1次元バーコード15、15Aの分割画像を合成することにより、1次元バーコード15、15Aの単一の画像を生成する。このときバーコード画像合成部53は、相隣する2つの分割画像の重複幅の範囲内に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、相隣する2つの分割画像の位置合わせを行うようになっている。このパターンマッチングには、正規化相関パターンマッチングの手法が用いられる。
The barcode image synthesis unit 53 synthesizes the divided images of the one-
バーコード読取部54は、合成された1次元バーコード15の単一の画像から1次元バーコード15、15Aの情報を読み取る。機構駆動部55は、第1のカメラ34、第2のカメラ35を移動させる撮像移動手段、すなわち第1のカメラ34を移動させる第1X軸移動機構および第1Y軸移動機構、第2のカメラ35を移動させる第2X軸移動機構および第2Y軸移動機構を駆動する。
The
制御部50が、バーコード分割撮像パターン設定部52によって設定された分割撮像パターンに基づいて、機構駆動部55および第1のカメラ34、第2のカメラ35を制御することにより、第1のカメラ34、第2のカメラ35は基板13やウェハ冶具4の上方へ移動し、1次元バーコード15、15Aを複数回撮像して複数の分割画像を取得する。したがって制御部50は、撮像手段および撮像移動手段を分割撮像パターンに基づいて制御する撮像制御部として機能する。認識処理部56は、第1のカメラ34、第2のカメラ35および第3のカメラ17によって取得された画像データを認識処理する。これにより認識マーク13aや電子部品6の位置認識が行われる。
The
次に電子部品を基板に実装する電子部品実装ラインに使用される電子部品実装用装置に
おける1次元バーコードの読取り方法について、図6のフローに沿って図7、図8を参照しながら説明する。ここでは、基板13に予め印加されサイズが撮像手段である第1のカメラ34の撮像視野のサイズよりも大きい1次元バーコード15を読み取る場合の処理を示している。なお部品供給部2に保持されたウェハ冶具4に予め印加された1次元バーコード15Aを、第2のカメラ35によって読み取る場合においても同様の処理が実行される。
Next, a method for reading a one-dimensional barcode in an electronic component mounting apparatus used in an electronic component mounting line for mounting electronic components on a substrate will be described along the flow of FIG. 6 with reference to FIGS. . Here, processing is shown in the case of reading a one-
図6においてまず上流側装置から基板13が基板搬入コンベア11に搬入される(ST1)とともに、記憶部51からこの基板13の基板データが読み出されることにより、当該基板13に印加された1次元バーコード15のサイズを含むデータが読み込まれる。次いで、1次元バーコード15を第1のカメラ34の撮像視野のサイズに合わせて分割する(ST2)。すなわち撮像移動手段によって第1のカメラ34を移動させながら、第1のカメラ34によって1次元バーコード15を複数に分割した分割画像を取得するための分割撮像パターンを、バーコード分割撮像パターン設定部52によって設定する(分割撮像パターン設定工程)。
In FIG. 6, first, the
ここでは図7(a)に示すように、長さ寸法Lの1次元バーコード15を、長手方向の視野サイズaの撮像視野Vによって分割して撮像する。撮像視野Vの内部には、1次元バーコード15を分割するための分割領域Rが長手方向の領域寸法bで設定されている。この分割撮像パターン設定工程において、分割パターンを決定する際には、まず複数の分割領域Rを相隣接させることによって長さ寸法Lを完全にカバーできるような分割数を求める。ここでは領域寸法bの分割領域Rを3つ隣接させることによって長さ寸法Lがカバー可能となっている。
Here, as shown in FIG. 7A, the one-
次に上記分割数に基づき、撮像視野Vの位置を決定する。すなわち図7(b)、(c)、(d)に示すように、相隣する分割領域Rのエッジラインが重なって隣接するように順次撮像視野Vの位置を決定し、このときの撮像視野の代表点の位置を、バーコード撮像位置P1,P2,P3としてそれぞれ求める。このとき隣接する各撮像視野Vは、重複幅Dだけ重なった位置関係にある。すなわち分割撮像パターンの設定においては、相隣する2つの分割画像の端部が相互に所定の重複幅だけ重なるように、分割撮像パターンを設定する。後述するように重複幅Dの範囲には、分割画像相互をつなぎ合わせて合成画像を作成する際のパターンマッチングの対象となる領域が含まれる。 Next, the position of the imaging visual field V is determined based on the number of divisions. That is, as shown in FIGS. 7B, 7C, and 7D, the position of the imaging visual field V is sequentially determined so that the edge lines of the adjacent divided regions R overlap and are adjacent to each other, and the imaging visual field at this time Are obtained as barcode imaging positions P1, P2, and P3, respectively. At this time, the adjacent imaging fields of view V are in a positional relationship where they overlap each other by the overlap width D. That is, in the setting of the divided imaging pattern, the divided imaging pattern is set so that the ends of two adjacent divided images overlap each other by a predetermined overlap width. As will be described later, the range of the overlap width D includes an area to be subjected to pattern matching when the divided images are connected to create a composite image.
次いで、第1のカメラ34および第1のカメラ34を移動させる撮像移動手段を、設定された分割撮像パターンにしたがって制御部50によって制御することにより、1次元バーコード15の分割画像を取得する(分割画像取得工程)。すなわち、図8(a)に示すように、まず第1分割目のバーコード撮像位置P1へ撮像視野Vの代表点を移動させ(ST3)、第1のカメラ34によって第1分割目の範囲を撮像して、第1分割画像G1を取得する(ST4)。
Subsequently, the divided image of the one-
そして次分割の有無を確認し(ST5)、次分割有ならば(ST3)に戻って次分割を対象として同様の処理を実行し、図8(b)、(c)に示すように、N分割目(第2分割目、第3分割目)のバーコード撮像位置P2,P3へ撮像視野Vの代表点を移動させ、第2分割画像G2,第3分割画像G3を順次取得する。そして(ST5)にて次分割無しを確認して、分割画像取得工程を終了する。次に、1次元バーコード15の画像合成処理が実行される(ST6)。すなわちこのようにして取得された複数の分割画像をバーコード画像合成部53によって合成することにより、1次元バーコード15の単一の画像を生成する(画像合成工程)。本実施の形態に示す画像合成工程においては、前述の重複幅Dを重ね合わせてパターンマッチングを行うことにより、分割画像相互の位置合わせを高精度で行うようにしている。
Then, the presence / absence of the next division is confirmed (ST5). If the next division is present, the process returns to (ST3) and the same processing is executed for the next division. As shown in FIGS. 8B and 8C, N The representative point of the imaging field of view V is moved to the barcode imaging positions P2, P3 of the division (second division, third division), and the second divided image G2, the third divided image G3 are sequentially acquired. Then, in (ST5), it is confirmed that there is no next division, and the divided image acquisition step is ended. Next, image composition processing of the one-
すなわち、図9(a)に示すように、まず第1分割画像G1内にの分割領域R1の右端部のエッジラインを含んでマッチング処理領域r1を設定し、第2分割画像G2内に設定された分割領域R2の左端部のエッジラインを含んでマッチング参照領域r2を設定する。ここで、マッチング処理領域r1、マッチング参照領域r2は、本来相隣接する2つの分割領域R1,R2の位置ずれ誤差を検出することを目的とするパターンマッチングのために設定されるマッチング領域である。マッチング処理領域r1はマッチング処理の対象となる処理領域であり、マッチング参照領域r2はマッチング処理において参照されるテンプレートとして用いられる領域である。すなわちこの画像合成工程においては、相隣する2つの分割画像の重複幅の範囲に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、相隣する2つの分割画像の位置合わせを行う。 That is, as shown in FIG. 9A, first, the matching processing region r1 is set including the edge line at the right end of the divided region R1 in the first divided image G1, and set in the second divided image G2. The matching reference region r2 is set including the edge line at the left end of the divided region R2. Here, the matching processing region r1 and the matching reference region r2 are matching regions that are set for pattern matching that is intended to detect misalignment errors between two divided regions R1 and R2 that are originally adjacent to each other. The matching processing region r1 is a processing region that is a target of matching processing, and the matching reference region r2 is a region that is used as a template that is referred to in the matching processing. That is, in this image composition step, the adjacent two divided images are aligned by performing pattern matching on the matching region set in the overlapping width range of the two adjacent divided images.
ここで行われるパターンマッチングには、正規化相関パターンマッチングの手法が用いられる。すなわち、マッチング処理領域r1、マッチング参照領域r2においてこれら領域内の画像全体の平均明度を求め、これら領域を構成する各画素の明度からそれぞれの平均明度を差し引いて正規化した上で、マッチング処理領域r1、マッチング参照領域r2のパターンが最も一致する位置をサーチする。本実施の形態に示す例では、±3画素分程度をカバーするサーチを行えばよく、マッチング回数は7回程度でよい。これにより、撮像の際の照明状態のばらつきやノイズなどの影響を極力少なくして、安定したマッチング精度を確保することができ、分割画像の位置合わせ用のデータ、すなわち相隣接する2つの分割領域R1,R2を連結する際の位置ずれ補正量を、高精度で求めることができる。 The pattern matching performed here uses a normalized correlation pattern matching technique. That is, in the matching processing region r1 and the matching reference region r2, the average brightness of the entire image in these regions is obtained, and after normalizing by subtracting the average brightness from the brightness of each pixel constituting these regions, the matching processing region The position where the pattern of r1 and the matching reference region r2 most closely matches is searched. In the example shown in the present embodiment, a search covering about ± 3 pixels may be performed, and the number of matchings may be about seven. As a result, it is possible to minimize the influence of variations in illumination state and noise during imaging, and to ensure stable matching accuracy. Data for alignment of divided images, that is, two adjacent divided regions The positional deviation correction amount when connecting R1 and R2 can be obtained with high accuracy.
次いで図8(a)に示す処理と同様の処理が、第2分割画像G2、第3分割画像G3を対象として実行される。これにより、分割画像G1と第2分割画像G2との位置合わせ用のデータと、第2分割画像G2と第3分割画像G3との位置合わせ用のデータが取得される。そしてこれらの位置合わせ用のデータを用いて、図9(b)に示すように、分割画像G1、第2分割画像G2、第3分割画像G3を位置合わせして単一の合成バーコード画像15*を生成する処理を行う。これにより、撮像時の位置誤差などに起因する誤差を極力排除した高精度の画像合成が可能となっている。そしてこのようにして合成された単一の合成バーコード画像15*から、バーコード読取部54によって1次元バーコード15の情報を読み取る(ST7)(情報読取工程)。
Next, the same processing as the processing shown in FIG. 8A is executed for the second divided image G2 and the third divided image G3. Thereby, data for alignment between the divided image G1 and the second divided image G2 and data for alignment between the second divided image G2 and the third divided image G3 are acquired. Then, using these alignment data, as shown in FIG. 9B, the divided image G1, the second divided image G2, and the third divided image G3 are aligned to obtain a single
上記説明したように、本実施の形態においては、撮像手段の撮像視野のサイズよりも大きいサイズの1次元バーコードを複数回撮像して複数の分割画像を取得するための分割撮像パターンを設定し、撮像手段および撮像移動手段を分割撮像パターンにしたがって制御して取得された複数の分割画像を合成して1次元バーコードの単一の画像を生成するようにしている。これにより、大視野の撮像手段や専用の撮像手段を必要とすることなく、1次元バーコードの読み取りを簡便な機構で低コストで行うことができる。 As described above, in the present embodiment, a divided imaging pattern for acquiring a plurality of divided images by imaging a one-dimensional barcode having a size larger than the size of the imaging field of view of the imaging unit a plurality of times is set. A single image of a one-dimensional barcode is generated by combining a plurality of divided images acquired by controlling the imaging unit and the imaging moving unit according to the divided imaging pattern. This makes it possible to read a one-dimensional barcode at a low cost with a simple mechanism without requiring a large-field imaging means or a dedicated imaging means.
さらに本実施の形態においては、X方向、Y方向に移動自在な第1のカメラ34、第2のカメラ35によって1次元バーコード15、15Aを撮像するようにしていることから、基板13やウェハ冶具4におけるバーコード貼り付け方向の制約がない。すなわち、レーザスキャナを用いた専用の読取り装置によって1次元バーコードを読み取る従来技術においては、読取り装置の配置方向によって規定される一定の方向に合わせてバーコードを貼着する必要があるのに対し、本実施の形態においては任意の方向にバーコードを貼着することができるという利点を有している。
Further, in the present embodiment, the one-
なお本実施の形態においては、基板13、ウェハ冶具4の双方にそれぞれ1次元バーコード15、15Aが印加されている例を示したが、基板13、ウェハ冶具4のいずれか一方に1次元バーコード15または1次元バーコード15Aを印加する形態でもよい。また
本実施の形態においては、電子部品実装用装置として部品保持部(ウェハ冶具4)から電子部品6を取り出して基板13に搭載する電子部品搭載装置の例を示したが、本発明はこれに限定されるものではなく、1次元バーコードが印加された部品保持部または基板のいずれかを作業対象とする装置であれば、本発明の適用対象となる。すなわち電子部品実装分野において、部品保持部から電子部品を取り出す部品取出し装置や、基板を対象として各種の検査を行う検査装置などにおいても、本発明を適用することができる。
In the present embodiment, the one-
本発明の電子部品実装用装置および1次元バーコードの読取り方法は、大視野の撮像手段や専用の撮像手段を必要とすることなく、バーコードの読み取りを簡便な機構で低コストで行うことができるという効果を有し、電子部品搭載装置など電子部品実装分野の各種装置に利用可能である。 The electronic component mounting apparatus and the one-dimensional barcode reading method of the present invention can read barcodes with a simple mechanism at a low cost without requiring a large-field imaging means or a dedicated imaging means. It can be used for various devices in the electronic component mounting field such as an electronic component mounting device.
2 部品供給部
4 ウェハ冶具
6 電子部品
10 基板保持部
13 基板
15、15A 1次元バーコード
34 第1のカメラ
35 第2のカメラ
V 撮像視野
R 分割領域
G1 第1分割画像
G2 第2分割画像
G3 第3分割画像
r1 マッチング処理領域
r2 マッチング参照領域
2
Claims (4)
前記基板およびまたは前記部品保持部に予め印加されサイズが前記撮像手段の撮像視野のサイズよりも大きい1次元バーコードを、前記撮像移動手段によって前記撮像手段を移動させながらこの撮像手段によって複数回撮像して前記1次元バーコードを複数に分割した分割画像を取得するための分割撮像パターンを設定するバーコード分割撮像パターン設定部と、
前記撮像手段および撮像移動手段を前記分割撮像パターンに基づいて制御する撮像制御部と、前記分割画像を合成することにより前記1次元バーコードの単一の画像を生成するバーコード画像合成部と、合成された前記単一の画像から前記1次元バーコードの情報を読み取るバーコード読取部とを備え、
前記バーコード分割撮像パターン設定部は、相隣する2つの前記分割画像の端部が相互に所定の重複幅だけ重なるように前記分割撮像パターンを設定し、
前記バーコード画像合成部は、前記相隣する2つの前記分割画像の前記重複幅の範囲に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、前記相隣する2つの分割画像の位置合わせを行うことを特徴とする電子部品実装用装置。 An image pickup means for picking up an image of a component holding section for holding the electronic component in a component supply section for supplying a substrate and / or an electronic component held by the substrate holding section, and an image pickup moving means for moving the image pickup means relative to an image pickup target A recognition processing unit that performs recognition processing on the image data acquired by the imaging unit;
A one-dimensional barcode, which is applied in advance to the substrate and / or the component holding unit and has a size larger than the size of the imaging field of view of the imaging unit, is imaged a plurality of times by the imaging unit while the imaging unit is moved by the imaging moving unit. A barcode division imaging pattern setting unit for setting a division imaging pattern for obtaining a divided image obtained by dividing the one-dimensional barcode into a plurality of images,
An imaging control unit that controls the imaging unit and the imaging moving unit based on the divided imaging pattern; a barcode image synthesis unit that generates a single image of the one-dimensional barcode by synthesizing the divided images; A barcode reader that reads information of the one-dimensional barcode from the synthesized single image,
The barcode divided imaging pattern setting unit sets the divided imaging pattern so that end portions of two adjacent divided images overlap each other by a predetermined overlap width,
The barcode image combining unit performs pattern matching on a matching region set in the overlap width range of the two adjacent divided images, thereby aligning the two adjacent divided images. An electronic component mounting apparatus characterized by:
前記撮像移動手段によって前記撮像手段を移動させながらこの撮像手段によって前記1次元バーコードを複数回撮像してこの1次元バーコードを複数に分割した分割画像を取得するための分割撮像パターンを設定する分割撮像パターン設定工程と、
前記撮像手段および撮像移動手段を前記分割撮像パターンにしたがって制御することにより複数の前記分割画像を取得する分割画像取得工程と、前記分割画像を合成することにより前記1次元バーコードの単一の画像を生成する画像合成工程と、合成された前記単一の画像から前記1次元バーコードの情報を読み取る情報読取工程とを含み、
前記分割撮像パターン設定工程において、相隣する2つの前記分割画像の端部が相互に所定の重複幅だけ重なるように前記分割撮像パターンを設定し、
前記画像合成工程において、前記相隣する2つの前記分割画像の前記重複幅の範囲に設定されるマッチング領域を対象としてパターンマッチングを行うことにより、前記相隣する2つの分割画像の位置合わせを行うことを特徴とする1次元バーコードの読取り方法。 An imaging means for imaging the board held by the board holding section and / or a component holding section for holding the electronic component in the component supply section; an imaging moving means for moving the imaging means relative to an imaging target; In an electronic component mounting apparatus including a recognition processing unit that performs recognition processing on image data acquired by an imaging unit, a size that is applied in advance to the substrate and / or the component holding unit is larger than a size of an imaging field of view of the imaging unit. A method of reading a one-dimensional barcode that reads a large one-dimensional barcode,
While the image pickup means is moved by the image pickup moving means, the image pickup means picks up the one-dimensional barcode a plurality of times and sets a divided image pickup pattern for obtaining a divided image obtained by dividing the one-dimensional barcode into a plurality of pieces. A divided imaging pattern setting step;
A divided image acquisition step of acquiring a plurality of the divided images by controlling the imaging unit and the imaging moving unit according to the divided imaging pattern, and a single image of the one-dimensional barcode by combining the divided images And an information reading step of reading information of the one-dimensional barcode from the single image thus combined,
In the divided imaging pattern setting step, the divided imaging pattern is set so that end portions of two adjacent divided images overlap each other by a predetermined overlapping width,
In the image composition step, the adjacent two divided images are aligned by performing pattern matching on a matching region set in the overlapping width range of the two adjacent divided images. A method for reading a one-dimensional bar code.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007325551A JP5071091B2 (en) | 2007-12-18 | 2007-12-18 | Electronic component mounting apparatus and one-dimensional barcode reading method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007325551A JP5071091B2 (en) | 2007-12-18 | 2007-12-18 | Electronic component mounting apparatus and one-dimensional barcode reading method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009146328A true JP2009146328A (en) | 2009-07-02 |
JP5071091B2 JP5071091B2 (en) | 2012-11-14 |
Family
ID=40916831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007325551A Expired - Fee Related JP5071091B2 (en) | 2007-12-18 | 2007-12-18 | Electronic component mounting apparatus and one-dimensional barcode reading method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5071091B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101206425B1 (en) * | 2011-07-20 | 2012-11-29 | 한국과학기술원 | Holographic type security tag, Device and method for recovering of hologram based information |
CN108763998A (en) * | 2018-04-17 | 2018-11-06 | 维沃移动通信有限公司 | Barcode recognition method and terminal device |
JP2021077005A (en) * | 2019-11-07 | 2021-05-20 | キヤノン株式会社 | Image processing device, image processing method and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785246A (en) * | 1993-09-10 | 1995-03-31 | Olympus Optical Co Ltd | Image synthesizer |
JPH08255216A (en) * | 1995-03-17 | 1996-10-01 | Matsushita Electric Ind Co Ltd | Optical information reader |
JP2004342067A (en) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | Image processing method, image processor and computer program |
JP2005276119A (en) * | 2004-03-26 | 2005-10-06 | Casio Comput Co Ltd | Code symbol reading device and program |
JP2007189053A (en) * | 2006-01-13 | 2007-07-26 | Fuji Mach Mfg Co Ltd | Reference mark, and method and apparatus for detecting the reference mark position |
-
2007
- 2007-12-18 JP JP2007325551A patent/JP5071091B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0785246A (en) * | 1993-09-10 | 1995-03-31 | Olympus Optical Co Ltd | Image synthesizer |
JPH08255216A (en) * | 1995-03-17 | 1996-10-01 | Matsushita Electric Ind Co Ltd | Optical information reader |
JP2004342067A (en) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | Image processing method, image processor and computer program |
JP2005276119A (en) * | 2004-03-26 | 2005-10-06 | Casio Comput Co Ltd | Code symbol reading device and program |
JP2007189053A (en) * | 2006-01-13 | 2007-07-26 | Fuji Mach Mfg Co Ltd | Reference mark, and method and apparatus for detecting the reference mark position |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101206425B1 (en) * | 2011-07-20 | 2012-11-29 | 한국과학기술원 | Holographic type security tag, Device and method for recovering of hologram based information |
CN108763998A (en) * | 2018-04-17 | 2018-11-06 | 维沃移动通信有限公司 | Barcode recognition method and terminal device |
JP2021077005A (en) * | 2019-11-07 | 2021-05-20 | キヤノン株式会社 | Image processing device, image processing method and program |
JP7493927B2 (en) | 2019-11-07 | 2024-06-03 | キヤノン株式会社 | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5071091B2 (en) | 2012-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6231188B2 (en) | Traceability information management system and traceability information management method for component mounting line | |
JP2009094283A (en) | Method of producing mounting board, surface mounting machine, and mounting board production control device | |
JP5190127B2 (en) | Substrate processing equipment | |
JP2007335524A (en) | Mounting line | |
US6563530B1 (en) | Camera position-correcting method and system and dummy component for use in camera position correction | |
JP5071091B2 (en) | Electronic component mounting apparatus and one-dimensional barcode reading method | |
JP2009054759A (en) | Abnormality detecting method and device | |
WO2017081773A1 (en) | Image processing device and image processing method for base plate | |
JP6608543B2 (en) | Image processing system and image processing method | |
JP4844431B2 (en) | Electronic component mounting apparatus and information code reading method in electronic component mounting apparatus | |
JP2008251588A (en) | Part mounting device, and method of measuring accuracy of mounting position thereon | |
JP5756713B2 (en) | Substrate processing apparatus, substrate processing system | |
CN113380661A (en) | Chip mounting device and method for manufacturing semiconductor device | |
JP4927776B2 (en) | Component mounting method | |
JP4427421B2 (en) | Mounting board imaging method, inspection method and inspection apparatus, and mounting line | |
JP4437686B2 (en) | Surface mount machine | |
JP4421281B2 (en) | Component recognition method, component recognition device, surface mounter, component test device, and board inspection device | |
JP4954698B2 (en) | Surface mounter and control method of surface mounter | |
JP2007294815A (en) | Visual inspection method and apparatus | |
JP6990309B2 (en) | Surface mounter | |
JP2008107278A (en) | Continuity testing device | |
WO2010087213A1 (en) | Correction position detecting apparatus, correction position detecting method and bonding apparatus | |
JP2009262422A (en) | Printing apparatus and control method of the same | |
CN113348739B (en) | Working machine | |
US20200249579A1 (en) | Method and exposure device for exposing at least one stored representation on a light-sensitive recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091125 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20091214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5071091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |