JP2005216933A - 部品認識方法、同装置および表面実装機 - Google Patents

部品認識方法、同装置および表面実装機 Download PDF

Info

Publication number
JP2005216933A
JP2005216933A JP2004018496A JP2004018496A JP2005216933A JP 2005216933 A JP2005216933 A JP 2005216933A JP 2004018496 A JP2004018496 A JP 2004018496A JP 2004018496 A JP2004018496 A JP 2004018496A JP 2005216933 A JP2005216933 A JP 2005216933A
Authority
JP
Japan
Prior art keywords
recognition
component
unit
imaging
head unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004018496A
Other languages
English (en)
Other versions
JP4401792B2 (ja
Inventor
Hiroshi Kobayashi
寛 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2004018496A priority Critical patent/JP4401792B2/ja
Publication of JP2005216933A publication Critical patent/JP2005216933A/ja
Application granted granted Critical
Publication of JP4401792B2 publication Critical patent/JP4401792B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50Manufacturing or production processes characterised by the final manufactured product

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】 部品の種類との関係で正確な部品認識を維持したまま効率的な実装を可能とする部品認識方法等を提供する。
【解決手段】 ヘッドユニット5の吸着部品を異なる方向から撮像する複数の撮像手段21,22を部品認識部に配置する。ヘッドユニット5がこの部品認識部を通過するときに撮像手段21,22により吸着部品B1,B2を撮像し、この際、一の撮像手段21により撮像した画像に基づく2次元認識と、複数の撮像手段21,22により撮像した画像に基づく3次元認識とを吸着部品の種類に応じて選択する。複数本の実装用ヘッド20により複数個の吸着部品B1,B2を吸着し、かつ、2D認識部品B1と3D認識部品B2とをヘッドユニット5に混在吸着させる。また、3D認識部品B2に焦点を合わせた状態で撮像手段21,22により2Dおよび3D認識部品B1,B2を撮像する。
【選択図】 図6

Description

本発明は、複数本の実装用ヘッドを有する移動可能なヘッドユニットにより吸着された電子部品を、実装に先立って認識するための部品認識方法および同装置、並びに同装置が組み込まれ、前記ヘッドユニットにより電子部品を吸着してプリント基板等の基板上に自動的に実装する表面実装機に関するものである。
従来から、複数本の実装用ヘッドを有する移動可能なヘッドユニットによりIC等の電子部品(以下、部品と略す)を部品供給部から取出してプリント基板上の所定位置に実装する表面実装機(以下、実装機と略す)が一般に知られている。
この種の実装機では、通常、不良部品の実装を防止し、また実装時の位置ずれを防止するために、部品の実装に先立って搬送途中の吸着部品を画像認識し、その認識結果に基づいて不良部品の選別や実装位置の補正が行われている。
部品の認識は、吸着部品の一面(主に下面)を撮像して行うのが主流であったが、近年では、リードの折れ等をより正確に検知すべく、吸着部品を複数の異なる方向から撮像し、例えば得られた画像を合成することにより3次元画像を形成して部品を認識することが行われている(例えば特許文献1)。そして、吸着部品を撮像する手段としてラインセンサ(リニアセンサ)を用い、これにより部品の搬送を中断させる(一時的に停止させる)ことなく吸着部品を画像認識することも行われている。
ところで、部品認識のために要求される画像は、吸着部品の種類によって異なり、例えば角チップ抵抗などの単純形状の部品では、外観上判断可能な不良部品というものがほとんどなく実装時の位置ずれを防止するだけでよいので、2次元画像だけで充分に対応することができる(以下、この2次元画像の取得が必要な部品を2D認識部品と称す)。一方、例えば周囲にリードをもつパッケージ部品では、実装時の位置ずれを防止するとともにリードの不揃いや浮き等の不良を正確に検出するため、2次元画像に加えて3次元画像を取得する必要がある(以下、この3次元画像の取得が必要な部品を3D認識部品と称す)。ところで、一般に2D認識部品と3D認識部品とでは部品の高さが異なるので、これらの2Dおよび3D認識部品を実装用ヘッドの高さ微調整可能な個別昇降機能が備えられていないヘッドユニットにより実装する場合には、各認識部品に撮像手段の焦点を合わせるため、別工程でヘッドユニットに吸着、撮像され、この高解像度の画像に基づいて部品認識が行われていた。
特開平7−151522号
しかしながら、部品認識のために必要とされる画像はその部品の形状的特徴や目的によって左右されるため、正確な部品認識にあたって、各部品について焦点を合わせた高解像度の画像取得を一律に必要とせず、このような高解像度の画像を各部品について一律に取得していたのでは却って部品の効率的な実装を阻害することとなる。従って、部品の実装を確実、かつ効率的に行うためには部品の種類との関係で合理的に取得する画像およびその解像度を選別することが望まれる。
すなわち、例えば前記従来の実装機では、前記ラインセンサによる撮像を2Dおよび3D認識部品の何れに対しても焦点を合わせて行っていたため、異なる種類の部品をヘッドユニットに一挙に吸着させて実装させることができず、部品の種類毎に部品供給部とプリント基板との間でヘッドユニットを往復させており、部品の効率的な実装の点で改善の余地があった。
本発明は、上記の課題を解決するためになされたものであって、実装用ヘッドの高さを微調整するために該実装用ヘッドを個別に昇降させることができないヘッドユニットを用いて部品認識させる場合に、部品の種類との関係で正確な部品認識を維持したまま効率的な実装を可能とする部品認識方法および同装置並びに同装置が組み込まれた表面実装機を提供することを目的としている。
上記課題を解決するために、本発明の請求項1に係る部品認識方法は、ヘッドユニットに吸着された吸着部品を異なる方向から撮像する複数の撮像手段を部品認識部に配置するとともに、前記ヘッドユニットがこの部品認識部を通過するときに前記撮像手段により吸着部品を撮像し、この際、一の撮像手段により撮像した画像に基づく2次元認識と、複数の撮像手段により撮像した画像に基づく3次元認識とを吸着部品の種類に応じて選択する部品認識方法であって、前記ヘッドユニットに設けた複数本の実装用ヘッドにより複数個の吸着部品を吸着し、かつ、前記2次元認識させる2D認識部品と、前記3次元認識させる3D認識部品とを前記吸着部品に含めることにより、当該2D認識部品と3D認識部品とを前記ヘッドユニットに混在吸着させるとともに、前記3D認識部品に焦点を合わせた状態で前記撮像手段により2Dおよび3D認識部品を撮像するようにしたものである。
また、この場合、前記複数の撮像手段として、吸着部品における吸着面と反対側の面に正対させた第1撮像手段と、これとは異なる方向から撮像する第2撮像手段とを用いるのが好ましい(請求項2)。
一方、本発明の請求項3に係る部品認識装置は、部品を吸着可能な実装用ヘッドを複数本並列に有するヘッドユニットと、これに吸着された吸着部品を異なる方向から撮像する複数の撮像手段と、前記ヘッドユニットに部品を吸着させるとともに前記撮像手段が配置された部品認識部を通過させるべく前記ヘッドユニットを移動させる駆動手段と、前記部品認識部を前記ヘッドユニットが通過するときにこれに吸着された吸着部品を撮像するべく前記撮像手段を制御する撮像制御手段と、一の撮像手段により撮像した画像に基づく2次元認識と複数の撮像手段により撮像した画像に基づく3次元認識とを吸着部品の種類に応じて選択して認識する部品認識手段とを備えた表面実装機の部品認識装置であって、前記2次元認識させる2D認識部品と前記3次元認識させる3D認識部品とを前記吸着部品に含めることにより該2D認識部品と3D認識部品とを前記ヘッドユニットに混在吸着させ、かつ、前記3D認識部品に焦点を合わせた状態で前記撮像手段により2Dおよび3D認識部品を撮像させるべく前記駆動手段および撮像制御手段を制御する制御手段をさらに備えるものである。
また、この場合、前記複数の撮像手段は、吸着部品における吸着面と反対側の面に正対させた第1撮像手段と、これとは異なる方向から撮像する第2撮像手段とを含むのが好ましい(請求項4)。
さらに、前記撮像手段が主走査方向に複数の撮像素子が並ぶラインセンサであり、前記駆動手段はこのラインセンサに対してその主走査方向に直交する方向に前記ヘッドユニットを通過させるのが好ましい(請求項5)。
また、前記制御手段が、前記ヘッドユニットに対して2Dおよび3D認識部品の両認識部品を混在吸着させる制御のみを実行するように構成してもよいが、前記ヘッドユニットに対して2D認識部品のみを吸着させ、当該2D認識部品に焦点を合わせる2D認識モードと、前記ヘッドユニットに対して3D認識部品のみを吸着させ、当該3D認識部品に焦点を合わせる3D認識モードと、前記ヘッドユニットに対して2Dおよび3D認識部品を混在吸着させ、当該3D認識部品に焦点を合わせる混在認識モードとを切り換え可能に構成されるのが好ましい(請求項6)。
この場合、前記制御手段は、前記2D認識モード時に、第1撮像手段により2D認識部品を撮像させるのが好ましい(請求項7)。
また、本発明の表面実装機は、複数本の実装用ヘッドを有する移動可能なヘッドユニットにより電子部品を吸着して基板上の所定位置に実装する表面実装機において、請求項3ないし請求項7のいずれか1項に記載の部品認識装置と、3D認識部品を供給する部品供給部と、2D認識部品を供給する部品供給部とを備えたものである(請求項8)。
請求項1および請求項3に係る発明によると、要求を満たす実装精度を維持しつつ、部品を効率的に実装することができる。
すなわち、実装位置に関する補正量の演算等に用いられる部品の2次元認識にあたっては高解像度の画像を必要とせず、部品の向き等が判別できる程度の1方向からの画像があれば正確な演算等が可能であることを知見し得た。一方、部品を3次元認識させる場合には、複数の画像を合成するため合成前の各画像について高解像度の画像が要求される。
そこで、上記のようにヘッドユニットに2Dおよび3D認識部品を混在吸着させ、3D認識部品に焦点を合わせた状態で第1および第2撮像手段により2Dおよび3D認識部品を撮像すれば、2Dおよび3D認識部品について前記部品認識のための要求を満足させた画像を取得することができ、しかも2Dおよび3D認識部品をヘッドユニットに混在吸着させるので、例えばQFP(Quad Flat Package)などの3D認識部品と角チップ抵抗などの2D認識部品とを部品供給部からプリント基板に一挙に搬送させることが可能となり、実装のための一連の時間を短縮することができる。
請求項2および請求項4に係る発明によると、焦点が合っていないために、画像の解像度が3D認識部品に較べて若干劣る2D認識部品についてもその外縁を比較的に明確に判別することができ、より正確な2D認識部品についての部品認識が可能となる。
請求項5に係る発明によると、ラインセンサの主走査方向に対して直交する方向にヘッドユニットを移動させながら画像を取り込むことができるため、より迅速に実装することができ、これにより実装効率がより一層向上する。
請求項6に係る発明によると、各認識モードを切り換えて状況に応じた対応が可能となり、実装効率を高水準で維持したまま各認識モードに適応したより的確な部品認識が可能となる。
請求項7に係る発明によると、ヘッドユニットの移動経路を変更することが可能となり、第2撮像手段による撮像のための経路を省略してより短時間で部品を実装することができる。
また、請求項8に係る発明の表面実装機によると、上記のような部品認識装置と、前記3D認識部品を供給する部品供給部と、前記2D認識部品を供給する部品供給部とを備えることにより、複数本の実装用ヘッドを有するヘッドユニットで3D認識部品と2D認識部品とを一度に実装することができて、部品実装効率を大幅に高めることができる。
本発明の実施の形態について図面に基づいて説明する。
図1及び図2は、本発明に係る部品認識装置が適用される表面実装機を概略的に示している。なお、これらの図中には、方向を明確にするためにX軸、Y軸及びZ軸を示している。
同図に示すように、実装機の基台1上には、プリント基板搬送用のコンベア2がX軸方向に配置され、プリント基板3がこのコンベア2上を搬送されて所定の装着作業位置で停止されるようになっている。上記コンベア2の両側方には部品供給部4A,4Bがそれぞれ配置されている。部品供給部4A,4Bはそれぞれ多数列のテープフィーダーを備えている。各テープフィーダーは、それぞれIC、トランジスタ、コンデンサ等の小片状のチップ部品を所定間隔おきに収納、保持したテープがリールから導出されるように構成されており、後述するヘッドユニット5により部品が取り出されるに伴い間欠的に部品を繰り出すように構成されている。なお、各部品供給部4A,4Bは、X軸方向に分割された単位供給部4A−1,4A−2及び4B−1,4B−2から構成され、各単位供給部4A−1,4A−2,4B−1,4B−2にそれぞれテープフィーダーが配設されている。
当実施形態の実装機には、その基台1の側方(コンベア2の搬送方向側方)に、これらの部品供給部4A,4Bとは別に部品供給装置50が設置されている。この部品供給装置50は、本体内に配設され、多数の部品を載置したトレイを複数枚収納したトレイ収納部51と、このトレイ収納部51の側方に配置された部品取出部52と、この部品取出部52の側方から前記単位供給部4A−1とコンベア2との間に延出するレール53と、このレール53に沿って往復移動する一対のシャトル54とを備えている。そして、図外のトレイ引出装置によりトレイ収納部51からトレイを引き出して部品取出部52にセットし、図外の部品移載装置により部品取出部52にセットされたトレイの部品をシャトル54に移載し、このシャトル54により部品供給部4A近傍の所定位置へ部品を搬送するものとなされている。
これらの部品供給部4A,4Bおよび部品供給装置50は、複数種類の部品を供給し得るものとなされている。この部品には、角チップ抵抗などの単純形状の部品であって後述する撮像ユニット21により撮像される2次元画像だけで認識が可能な部品(2D認識部品)と、QFPなどの周囲にリードをもつパッケージ部品であって後述する複数の撮像ユニット21,22により撮像合成される3次元画像による認識が必要な部品(3D認識部品)とが含まれている。特に、本実施形態では単位供給部4A,4Bには主に2D認識部品が搭載され、部品供給装置50には主に3D認識部品が搭載されている。そして、各部品供給部4A,4Bやシャトル54から部品が取り出され、プリント基板に実装されるようになっている。
一方、上記基台1の上方には、部品装着用のヘッドユニット5が装備されている。このヘッドユニット5は、部品供給部4A,4Bおよび基台1側に移動したシャトル54と、プリント基板3が位置する部品装着部とにわたって移動可能とされ、当実施形態ではX軸方向およびY軸方向(水平面上でX軸と直交する方向)に移動することができるようになっている。
すなわち、上記基台1上には、Y軸方向の固定レール7と、Y軸サーボモータ9により回転駆動されるボールねじ軸8とが配設され、上記固定レール7上にヘッドユニット支持部材11が配置され、この支持部材11に設けられたナット部分12が上記ボールねじ軸8に螺合している。また、上記支持部材11には、X軸方向のガイド部材13と、X軸サーボモータ15により駆動されるボールねじ軸14とが配設され、上記ガイド部材13にヘッドユニット5が移動可能に保持され、このヘッドユニット5に設けられたナット部分(図示せず)がボールねじ軸14に螺合している。そして、Y軸サーボモータ9の作動により上記支持部材11がY軸方向に移動するとともに、X軸サーボモータ15の作動によりヘッドユニット5が支持部材11に対してX軸方向に移動するようになっている。
また、Y軸サーボモータ9及びX軸サーボモータ15には、それぞれロータリエンコーダ10,16が設けられており、これによって上記ヘッドユニット5の移動位置検出がなされるようになっている。
上記ヘッドユニット5には、図2に示すように、部品吸着用のノズル20aを先端に備えた実装用ヘッド20が設けられ、当実施形態ではX軸方向に8つの実装用ヘッド20が並べて設けられている。各実装用ヘッド20は、それぞれ、ヘッドユニット5のフレームに対して昇降及びノズル中心軸回りの回転が可能とされ、昇降駆動機構や回転駆動機構により駆動されるようになっている。上記昇降駆動機構は、各実装用ヘッド20を同時に上下動させる全体昇降用サーボモータ17と、各実装用ヘッド20を個別に一定ストロークだけ昇降させる所定数(8個)のエアシリンダ(図示せず)とを備え、それらを併用することにより、各実装用ヘッド20を所定の上昇位置と下降位置とにわたって昇降させるように構成されている。従って、このヘッドユニット5では、実装用ヘッド20の高さを個別に微調整することができず、高さ調整を全体昇降用サーボモータ17で調整しつつ、エアシリンダを作動させて各実装用ヘッド20に部品を吸着し、或いは実装用ヘッド毎に部品を実装するようになっている。また、回転駆動機構は、1個の回転用サーボモータ19aとこのサーボモータ19aの回転を各ヘッドに伝える伝動機構とから構成されている。全体昇降用サーボモータ17および各回転用サーボモータ19aには、それぞれロータリエンコーダ18,19bが設けられ、実装用ヘッド20の位置検出がなされるようになっている。
また、コンベア2の両側には、それぞれ、ヘッドユニット5の各実装用ヘッド20に吸着された部品をプリント基板3への実装に先だって認識する領域である部品認識部が設けられ、該部品認識部には前記部品を撮像するための撮像ユニット21,22が配設されている。具体的には、コンベア2の一方側(図1の下側)には第1撮像ユニット21と第2撮像ユニット22が配置され、他方側(図1の上側)には第1撮像ユニット21のみが配置されている。ここでは、図1の下側に配置された各撮像ユニット21,22を中心に説明するが、図1の上側に配置された第1撮像ユニット21も下側に配置された第1撮像ユニット21と同様に構成されている。なお、コンベア2の両側に、それぞれ、第1および第2撮像ユニット21,22が配置されるように構成してもよい。
撮像ユニット21,22は、同図に示すようにX軸方向に近接し、かつY軸方向に若干オフセットされた状態で設けられている。具体的には、図1に示すように、部品供給部4Aを構成する単位供給部4A−1,4A−2の間であってコンベア2側に若干はみ出した状態で第1撮像ユニット21が配置され、この第1撮像ユニット21に隣接するように、第2撮像ユニット22が一方側の単位供給部4A−2とコンベア2との間に配置されている。
撮像ユニット21,22は、図2に示すように、それぞれ実装用ヘッド20に吸着された部品(吸着部品)を撮像するカメラ23と、部品撮像用の照明を提供する照明装置24とを備えている。
各カメラ23は、それぞれY軸方向に複数の撮像素子が並ぶラインセンサ(リニアセンサ)を備えたカメラで、各ラインセンサの素子の配列方向(主走査方向;Y軸方向)と直交する方向(副走査方向;X軸方向)にヘッドユニット5が移動することにより、各カメラ23により実装用ヘッド20に吸着された部品の主走査方向の画像を副走査方向に順次取込むようになっている。
撮像ユニット21,22の各カメラ23は、互いに異なる方向から吸着部品を撮像するように設けられている。具体的に説明すると、図3に示すように、第1撮像ユニット21のカメラ23(第1撮像手段)は、上面がノズル20aに吸着された吸着部品の下面に正対して配置され、すなわち吸着部品をその真下から撮像するようにZ軸方向上向きに配置されている。一方、第2撮像ユニット22のカメラ23(第2撮像手段)は吸着部品を斜め方向から撮像し得るようにZ軸に対して例えば40°傾いた状態で上向きに配置されている。
上記照明装置24は、光源としてLEDランプを備えており、詳しく図示していないが、例えば像入射用の空間を有したドーム型フレームの内面に多数のLEDランプを備えた構成となっている。
図4は上記実装機の制御系をブロック図で示している。この実装機は、論理演算を実行する周知のCPU、そのCPUを制御する種々のプログラムなどを予め記憶するROMおよび装置動作中に種々のデータを一時的に記憶するRAM等から構成される制御装置30を有している。
この制御装置30は、その機能構成として主制御部31、記憶部32、照明制御部33、カメラ制御部34(撮像制御手段)、画像処理部35および軸制御部36を含んでいる。
主制御部31は、実装機の動作を統括的に制御するもので、予め記憶されたプログラムに従ってヘッドユニット5等を作動させるべく軸制御部36を介してサーボモータ9,15等の駆動を制御する。また、撮像ユニット21,22により撮像される部品画像に基づいて実装用ヘッド20による部品の吸着ずれ量(実装位置に関する補正値)を演算するとともに部品の良否判定等を行う。特に、撮像ユニット21,22による部品の撮像に際しては、ヘッドユニット5に一工程で吸着される部品の種類に応じて2D認識モード、3D認識モードまたは混在認識モードの何れかのモードで部品認識を実行すべく照明制御部33およびカメラ制御部34に向けて制御信号を出力する。
ここで、2D認識モードとは、ヘッドユニット5により一工程で搬送される実装部品が矩形のチップ部品等、単純形状の部品(2D認識部品)のみである場合に実施されるモードで、ヘッドユニット5に2D認識部品のみを吸着させ、当該2D認識部品の下面(吸着面と反対側の面)に第1撮像ユニット21のカメラ23の焦点を合わせた状態で撮像し、この2次元画像データにのみ基づいて部品を認識(この認識を2次元認識と称す)するモードである。一方、3D認識モードとは、ヘッドユニット5により一工程で搬送される吸着部品が周囲にリードをもつリード付き部品等、形状の複雑な部品(3D認識部品)のみである場合に実施されるモードで、ヘッドユニット5に3D認識部品のみを吸着させ、当該3D認識部品の下面(吸着面と反対側の面)に両撮像ユニット21,22のカメラ23の焦点を合わせた状態で撮像し、これらの画像データを合成して得られる3次元画像データに基づいて部品を認識(この認識を3次元認識と称す)するモードである。さらに、混在認識モードとは、ヘッドユニット5により一工程で搬送される実装部品が2D認識部品のみならず3D認識部品も含まれている場合に実施されるモードで、ヘッドユニット5に2Dおよび3D認識部品を混在吸着させ、このうち3D認識部品の下面(吸着面と反対側の面)に両撮像ユニット21,22のカメラ23の焦点を合わせた状態で撮像し、実装用ヘッド20に吸着されている部品の種類に応じて当該吸着部品毎に2次元認識と3次元認識とを選択するモードである。
そして、主制御部31は各認識モードに応じてカメラ23の焦点を合わせるべく、軸制御部36を介して全体昇降用のサーボモータ17の駆動を制御する。
さらに、主制御部31においては、前記認識モードに応じて、部品が吸着されたヘッドユニット5の移動経路が異なるように設定されており、2D認識モードが選択されている場合には、ヘッドユニット5が第1撮像ユニット21の上方を通過するように設定されている一方、3D認識モード或いは混在認識モードが選択されている場合には、ヘッドユニット5が第1撮像ユニット21に加え、第2撮像ユニット22の上方も通過するように設定されている。そして、ヘッドユニット5が撮像ユニット21,22が配置された部品認識部を通過するときに吸着部品を撮像するように照明制御部33,カメラ制御部34および軸制御部36に制御信号を出力する。
記憶部32は、実装部品の種類とその種類に対応する部品認識モードとの関係、各部品認識モードの撮像条件および該撮像により得られる種々の画像情報等に関するデータを記憶するものである。
照明制御部33およびカメラ制御部34は、それぞれ前記撮像ユニット21,22の照明装置24およびカメラ23の駆動を制御するものである。
画像処理部35は、撮像ユニット21,22の各カメラ23から出力される画像信号に所定の処理を施すことにより部品認識に適した画像データを生成して主制御部31に出力するものである。
なお、この制御装置30の構成については、各軸サーボモータ15,9,17,19a及びエンコーダ16,10,18,19b等により本発明の駆動手段が構成され、照明制御部33、カメラ制御部34により撮像制御手段が構成され、主制御部31および画像処理部35等により本発明の部品認識手段が構成され、主制御部31及び軸制御部36により本発明の制御手段が構成されている。
次に、上記制御装置30の制御に基づく部品の実装動作について図5のフローチャートに基づいて説明する。
実装動作が開始されると、まずプリント基板3に実装すべき実装部品をヘッドユニット5によって一工程で搬送されるグループに割り振るとともに、このグループ毎にヘッドユニット5における各実装用ヘッド20に吸着させるべき部品を割り付ける(ステップS1)。このグループ分けは、一グループに高さの異なる2種類の3D認識部品が含まれないように設定されている。
そして、この割付に従ってヘッドユニット5が吸着すべき部品が搭載されている部品供給部4A,4Bまたはシャトル54に移動し、図6に示すように各実装用ヘッド20により部品が吸着される(ステップS2)。なお、この図6では、混在認識モードにおけるヘッドユニット5の吸着状態の一例を示しており、この例では右端の実装用ヘッド20から第1、第2、第3実装用ヘッド20等とすると、第1実装用ヘッド20に3D認識部品B2が吸着されているとともに、第3ないし第8実装用ヘッド20に2D認識部品B1が吸着されている。
この部品の吸着が完了すると、何れの認識モードが選択されているかを判定し(ステップS3,S4)、2D認識モードおよび3D認識モードの何れでもない場合、混在認識モードが選択されていると判定し、X軸およびY軸サーボモータ15,9等を駆動して、第1撮像ユニット21および第2撮像ユニット22の上方を通過するような第1経路に沿ってヘッドユニット5を移動させる(ステップS5)。この第1経路は、図7に示すように、コンベア2の搬送方向下流側から上流側に向かい(矢印Y1)、第1撮像ユニット21の上方を経た後、内側(コンベア2側)に向かい(矢印Y2)、コンベア2の搬送方向上流側から第2撮像ユニット22の上方を経て(矢印Y3)実装位置に移動する(矢印Y4)というような経路である。
また、前記認識モードの判定後であって後述する第1撮像ユニット21の撮像前に、全体昇降用サーボモータ17が駆動され、ヘッドユニット5に吸着されている3D認識部品B2の下面を基準にして各撮像ユニット21,22の焦点が合った高さにヘッドユニット5を移動する。すなわち、図6に示すように3D認識部品B2の下面に焦点Pが合わされ、2D認識部品B1には焦点Pが合っていない状態となる。
また、この移動過程でヘッドユニット5が第1撮像ユニット21に対して相対的に移動し、これにより各実装用ヘッド20に2Dおよび3D認識部品B1,B2の第1撮像ユニット21による撮像が行われ(ステップS6)、各吸着部品B1,B2をその真下から撮像した2次元画像(第1画像)が取得される。なお、この際、ヘッドユニット5が最後の部品を図1の下側の部品供給部4Aまたはシャトル54で吸着するように吸着部品の割付がなされており、ヘッドユニット5は当該最後の部品を吸着した部品供給部4A側の第1撮像ユニット21に対して相対的に移動するように駆動制御されている。
第1撮像ユニット21により吸着部品B1,B2が撮像されると、この吸着部品のうち3D認識部品B2については、第1画像に基づいて後述する画像合成のための座標(例えばリードの先端部分)が検出されるとともに、この座標によって3次元画像を得るためのアルゴリズムによる画像処理が行われ、そのデータが記憶部32に記憶される(ステップS7)。
また、このステップS7では、2D認識部品についても第1画像に基づくデータが記憶部32に記憶される。このデータとしては、例えば第1画像に基づいて検出された部品の所定部分から算出された中心位置に関するデータがあげられる。なお、混在認識モードでは、上記したように2D認識部品には焦点が合っておらず、若干ピンぼけした状態の2次元画像が得られることになるが、単純形状の2D認識部品についてはこの若干ピンぼけ状態の2次元画像でも十分に正確な認識が行われることを知見し、この知見に基づいて前記データの取得が行われている。
次に、ステップS8に移行され、3D認識部品についてのみ第2撮像ユニット22により撮像が行われる。具体的には、第2撮像ユニット22に対応するようにヘッドユニット5がY軸方向に移動した後、第1撮像ユニット21による撮像の際の移動方向とは反対方向にヘッドユニット5が移動して第2撮像ユニット22上を通過するとき(図7中のY3参照)、第2撮像ユニット22により3D認識部品B2のみが撮像される(ステップS8)。これによりヘッドユニット5に吸着されている3D認識部品B2を斜め方向下側から撮像した画像(第2画像)が取得される。この際、ヘッドユニット5は、第1画像を撮像した第1撮像ユニット21に近接する第2撮像ユニット22に対して相対的に移動するように駆動制御される。
そして、この第2画像に基づいて画像合成のための座標が検出されるとともに、この座標によって3次元画像を得るためのアルゴリズムによる画像処理が行われ、そのデータが記憶部32に記憶される(ステップS9)。ここで、第2画像に基づき検出される座標は、第1画像で検出された座標に対応した座標の検出が行われる。従って、上記例示ではリードの先端部分が検出される。
第1および第2画像に基づく画像処理が完了すると、これらの画像処理によるデータに基づき第1および第2画像が合成され、3次元画像である第3画像が取得される(ステップS10)。
そして、ステップS11に移行し、このステップS11において吸着部品がリードの折れ曲がり等がある不良品でないと判断された場合に、2Dおよび3D認識部品について上記部品認識に基づき吸着位置のずれ、つまりノズル中心に対する部品中心のX軸及びY軸方向の吸着ずれとノズル中心回りの部品の吸着ずれが調べられて、それに応じた部品補正量が演算される(ステップS12)。その後、ヘッドユニット5がプリント基板3上に移動して、各実装用ヘッド20により吸着された部品が順次プリント基板3上の所定位置(補正を加味した装着位置)に実装されることとなる(ステップS13)。また、ステップS11において不良部品と判定された部品はそのまま実装用ヘッド20によって保持され、廃棄トレイ上に排出される(ステップS14)。これにより本フローチャートが終了する。
一方、前記ステップS3で2D認識モードが選択されていると判定された場合には、X軸およびY軸サーボモータ15,9等を駆動して、図8に示すように、第1撮像ユニット21の上方を通過するような第2経路に沿ってヘッドユニット5を移動させる(ステップS15)。この第2経路では、第1経路と異なり、第2撮像ユニット22上を通過せずに、第1撮像ユニット21上を通過した後、直接プリント基板3への実装位置に移動するものとなっている(矢印Y1,Y2)。従って、第2経路では第1経路よりも移動距離が短いものとなっている。
また、前記認識モードの判定後であって後述する第1撮像ユニット21の撮像前に、全体昇降用サーボモータ17が駆動され、ヘッドユニット5に吸着されている2D認識部品の下面を基準にして各撮像ユニット21,22の焦点が合った高さにヘッドユニット5を移動する。
そして、この移動過程でヘッドユニット5が第1撮像ユニット21に対して相対的に移動し、これにより各実装用ヘッド20に吸着された2D認識部品の第1撮像ユニット21による撮像が行われ(ステップS16)、ヘッドユニット5に吸着されている2D認識部品をその真下から撮像した2次元画像(第1画像)が取得され、ステップS11に移行する。この際、ヘッドユニット5は、最後の部品を吸着した部品供給部4A(又は4B)の最寄りの第1撮像ユニット21に対して相対的に移動するように駆動制御され、これによって第1撮像ユニット21による各吸着部品の撮像処理が速やかに行われる。
ステップS4に戻って、3D認識モードが選択されていると判定された場合には、X軸およびY軸サーボモータ15,9等を駆動して、混在認識モードと同様に、第1経路に沿ってヘッドユニット5を移動させる(ステップS17)。
また、前記認識モードの判定後であって後述する第1撮像ユニット21の撮像前に、全体昇降用サーボモータ17が駆動され、ヘッドユニット5に吸着されている3D認識部品の下面を基準にして各撮像ユニット21,22の焦点が合った高さにヘッドユニット5を移動する。
ステップS18〜S22まではステップS6〜ステップS10までと同様であるので、ここではその説明を省略する。ただし、この3D認識モードではヘッドユニット5に吸着されている全ての部品について3次元画像が取得されると共に、この3次元画像に基づいて全ての部品について良否判定が実行される(ステップS11)。
ここで、各認識モードにおけるヘッドユニット5(吸着部品)の動作をまとめると次の通りである。例えば、最後の部品を部品供給部4A(単位供給部4A−1)において吸着した場合、混在認識モードまたは3D認識モードでは、図7に示すように、まず、部品供給部4Aに隣接される第1撮像ユニット21に対してプリント基板3の搬送方向上流側から下流側に向ってヘッドユニット5が移動し(同図の矢印Y1)、第1撮像ユニット21に隣接される第2撮像ユニット22側にヘッドユニット5が移動した後(同図の矢印Y2)、第1撮像ユニット21による撮像時と反対方向にヘッドユニット5が移動して(同図の矢印Y3)、実装位置に移動する(同図の矢印Y4)。これに対して、2D認識モードでは、図8に示すように、まず、部品供給部4Aに隣接される第1撮像ユニット21に対してプリント基板3の搬送方向上流側から下流側に向ってヘッドユニット5が移動した後(同図の矢印Y1)、略直線的に実装位置に向けて移動する(同図矢印Y2)。
以上のような本発明に係る部品認識方法および同装置が適用される実装機によると次のような効果を得ることができる。
この実装機では、ヘッドユニット5により部品を部品供給部4A等から吸着し、これらをプリント基板3に搬送して実装するが、混在認識モードが採用されている場合に、ヘッドユニット5によって2次元認識部品と3次元認識部品とを混在吸着させるように設定されているので、吸着部品の種類毎にヘッドユニット5を部品供給部4A等とプリント基板3との間を往復させる必要がなく、吸着部品の種類に拘わらずヘッドユニット5に吸着可能な範囲で一挙に部品を搬送させることができる。これにより、複数種類の部品を実装するための一連の時間を短縮することができる。
ところで、当実施形態のようにヘッドユニット5に2Dおよび3D認識部品を混在吸着させた場合、各撮像ユニット21の焦点を何れの部品に合わせるかが問題となるが、混在認識モードでは3D認識部品の下面に第1および第2撮像ユニット21,22の焦点を合わせ、該3D認識部品についてのみ3次元画像が取得されるようになっているので、3D認識部品については高解像度の3次元画像を取得することができ、該画像に基づいて適切な部品の良否等の3次元認識を実行することができる。
一方、この混在認識モードでは、前記3D認識部品に焦点を合わせているため、第1撮像ユニット21によって撮像された2D認識部品についての2次元画像は3D認識部品について撮像された2次元画像に比べて若干ぼけた状態となるが、この若干ぼけた状態の2次元画像に基づいても吸着位置のずれ等の部品認識を正確に行うことができるという効果がある。
すなわち、この実装機によれば、部品認識における正確性の低下を抑制することにより要求を満たす実装精度を維持しつつ、ヘッドユニット5により一工程で搬送する部品の種類数を増加させることにより部品を効率的に実装することができる。
特に、当実施形態では、各撮像手段21,22にラインセンサを用いるとともに、第1撮像手段21が吸着部品の真下に配設されているので、ヘッドユニット5を移動させながら撮像することができ、しかも真下に配設された第1撮像手段21により取得された2次元画像は焦点が多少ずれている場合でも、2D認識部品の外縁を可及的正確に判別することができる。
また、主制御部31において実装すべき部品に応じて適宜認識モードを切り換えることができるので、状況に応じた対応が可能となり、実装効率を高水準で維持したままより各認識モードに適応したより的確な部品認識が可能となる。また、2D認識モードにおいては、移動経路を変更してヘッドユニット5の移動量を第1経路に比べて低減させることができ、より短時間で部品を実装することができる。
なお、以上説明した実装機は、本発明に係る部品認識装置(方法)が適用される実装機の一実施形態であって、部品認識装置(方法)や実装機の具体的な構成等は、本発明の要旨を逸脱しない範囲で適宜変更可能であり、変形例を以下に説明する。
(1)上記実施形態では、専ら3D認識部品としてリード付きの部品を例示しているが、例えば下面にBGA(Ball Grid Array package)等のボール端子が設けられた部品を実装するものであってもよい。
この場合には、第1撮像ユニット21の照明装置24がマルチ照明とされる。すなわち、照明装置24は、実装用ヘッド20に吸着された部品に対して主にカメラ23側から照明を提供する状態(通常照明)と、主に吸着部品の側方から照明を提供する状態(横照明)とに切換可能に構成されており、照明制御部33を介して主制御部31により切換制御されるように構成され、2次元画像および3次元画像によりボール端子の状態を判別し得るようになっている。
(2)上記実施形態の実装機では、ヘッドユニット5により2D認識部品として高さの異なる部品を含めた複数種類の部品を吸着して一挙に搬送することができる。一方、3D認識部品については、同種の部品、或いは高さが略同じの異種部品を吸着して一挙に搬送することができる。
(3)撮像ユニットの数、配置、撮像角度等は、実施形態に示したものに限られるものではなく、実装部品をより精度良く認識できるように適宜設定すればよい。
本発明に係る部品認識装置(方法)が適用される表面実装機の一例を示す平面図である。 上記表面実装機を示す正面図である。 第1及び第2の撮像ユニットの各カメラの配置関係を示す模式図である。 表面実装機の制御系(主に部品認識動作を司る部分)を示すブロック構成図である。 上記制御系による実装の動作制御を説明するフローチャートである。 ヘッドユニットを2Dおよび3D認識部品を吸着した状態で示す模式図である。 ヘッドユニットの移動経路(第1経路)を示す模式図である。 ヘッドユニットの移動経路(第2経路)を示す模式図である。
符号の説明
1 基台
3 プリント基板
5 ヘッドユニット
9 Y軸サーボモータ
10 ロータリエンコーダ
15 X軸サーボモータ
16 ロータリエンコーダ
17 全体昇降用サーボモータ
18 ロータリエンコーダ
19a 回転用サーボモータ
19b ロータリエンコーダ
20 実装用ヘッド
21 第1撮像ユニット
22 第2撮像ユニット
23 カメラ
30 制御装置
31 主制御部
34 カメラ制御部
35 画像処理部
36 軸制御部
B1 2D認識部品
B2 3D認識部品
P 焦点

Claims (8)

  1. ヘッドユニットに吸着された吸着部品を異なる方向から撮像する複数の撮像手段を部品認識部に配置するとともに、前記ヘッドユニットがこの部品認識部を通過するときに前記撮像手段により吸着部品を撮像し、この際、一の撮像手段により撮像した画像に基づく2次元認識と、複数の撮像手段により撮像した画像に基づく3次元認識とを吸着部品の種類に応じて選択する部品認識方法であって、
    前記ヘッドユニットに設けた複数本の実装用ヘッドにより複数個の吸着部品を吸着し、かつ、前記2次元認識させる2D認識部品と、前記3次元認識させる3D認識部品とを前記吸着部品に含めることにより、当該2D認識部品と3D認識部品とを前記ヘッドユニットに混在吸着させるとともに、前記3D認識部品に焦点を合わせた状態で前記撮像手段により2Dおよび3D認識部品を撮像することを特徴とする部品認識方法。
  2. 請求項1に記載の部品認識方法において、
    前記複数の撮像手段として、吸着部品における吸着面と反対側の面に正対させた第1撮像手段と、これとは異なる方向から撮像する第2撮像手段とを用いることを特徴とする部品認識方法。
  3. 部品を吸着可能な実装用ヘッドを複数本並列に有するヘッドユニットと、これに吸着された吸着部品を異なる方向から撮像する複数の撮像手段と、前記ヘッドユニットに部品を吸着させるとともに前記撮像手段が配置された部品認識部を通過させるべく前記ヘッドユニットを移動させる駆動手段と、前記部品認識部を前記ヘッドユニットが通過するときにこれに吸着された吸着部品を撮像するべく前記撮像手段を制御する撮像制御手段と、一の撮像手段により撮像した画像に基づく2次元認識と複数の撮像手段により撮像した画像に基づく3次元認識とを吸着部品の種類に応じて選択して認識する部品認識手段とを備えた表面実装機の部品認識装置であって、
    前記2次元認識させる2D認識部品と前記3次元認識させる3D認識部品とを前記吸着部品に含めることにより該2D認識部品と3D認識部品とを前記ヘッドユニットに混在吸着させ、かつ、前記3D認識部品に焦点を合わせた状態で前記撮像手段により2Dおよび3D認識部品を撮像させるべく前記駆動手段および撮像制御手段を制御する制御手段をさらに備えることを特徴とする部品認識装置。
  4. 請求項3に記載の部品認識装置において、
    前記複数の撮像手段は、吸着部品における吸着面と反対側の面に正対させた第1撮像手段と、これとは異なる方向から撮像する第2撮像手段とを含むことを特徴とする部品認識装置。
  5. 請求項3または請求項4に記載の部品認識装置において、
    前記撮像手段が主走査方向に複数の撮像素子が並ぶラインセンサであり、前記駆動手段はこのラインセンサに対してその主走査方向に直交する方向に前記ヘッドユニットを通過させることを特徴とする部品認識装置。
  6. 請求項3ないし請求項5のいずれか1項に記載の部品認識装置において、
    前記制御手段は、前記ヘッドユニットに対して2D認識部品のみを吸着させ、当該2D認識部品に焦点を合わせる2D認識モードと、前記ヘッドユニットに対して3D認識部品のみを吸着させ、当該3D認識部品に焦点を合わせる3D認識モードと、前記ヘッドユニットに対して2Dおよび3D認識部品を混在吸着させ、当該3D認識部品に焦点を合わせる混在認識モードとを切り換え可能に構成されることを特徴とする部品認識装置。
  7. 請求項6に記載の部品装置において、
    前記制御手段は、前記2D認識モード時に、第1撮像手段により2D認識部品を撮像させることを特徴とする部品認識装置。
  8. 複数本の実装用ヘッドを有する移動可能なヘッドユニットにより電子部品を吸着して基板上の所定位置に実装する表面実装機において、請求項3ないし請求項7のいずれか1項に記載の部品認識装置と、3D認識部品を供給する部品供給部と、2D認識部品を供給する部品供給部とを備えたことを特徴とする表面実装機。
JP2004018496A 2004-01-27 2004-01-27 部品認識方法、同装置および表面実装機 Expired - Lifetime JP4401792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004018496A JP4401792B2 (ja) 2004-01-27 2004-01-27 部品認識方法、同装置および表面実装機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004018496A JP4401792B2 (ja) 2004-01-27 2004-01-27 部品認識方法、同装置および表面実装機

Publications (2)

Publication Number Publication Date
JP2005216933A true JP2005216933A (ja) 2005-08-11
JP4401792B2 JP4401792B2 (ja) 2010-01-20

Family

ID=34902995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004018496A Expired - Lifetime JP4401792B2 (ja) 2004-01-27 2004-01-27 部品認識方法、同装置および表面実装機

Country Status (1)

Country Link
JP (1) JP4401792B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011852A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011850A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011853A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011851A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015011852A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011850A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011853A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
WO2015011851A1 (ja) * 2013-07-25 2015-01-29 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
US9015928B2 (en) 2013-07-25 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Electronic component mounting apparatus
US9332230B2 (en) 2013-07-25 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. Electronic component mounting apparatus and electronic component mounting method
CN105746010A (zh) * 2013-07-25 2016-07-06 松下知识产权经营株式会社 电子部件安装装置以及电子部件安装方法
US9491411B2 (en) 2013-07-25 2016-11-08 Panasonic Intellectual Property Management Co., Ltd. Electronic component mounting apparatus and electronic component mounting method
JPWO2015011852A1 (ja) * 2013-07-25 2017-03-02 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
JPWO2015011850A1 (ja) * 2013-07-25 2017-03-02 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
JPWO2015011853A1 (ja) * 2013-07-25 2017-03-02 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
JPWO2015011851A1 (ja) * 2013-07-25 2017-03-02 パナソニックIpマネジメント株式会社 電子部品実装装置及び電子部品実装方法
CN105746010B (zh) * 2013-07-25 2019-04-05 松下知识产权经营株式会社 电子部件安装装置以及电子部件安装方法

Also Published As

Publication number Publication date
JP4401792B2 (ja) 2010-01-20

Similar Documents

Publication Publication Date Title
JP2554431B2 (ja) 実装機の部品吸着状態検出装置
JP6043367B2 (ja) 部品実装装置および部品実装方法
KR20060015513A (ko) 전자부품 실장장치 및 전자부품 실장방법
JP4381764B2 (ja) 撮像装置及び同装置を搭載した被撮像物移動装置
JP4308588B2 (ja) 表面実装機
KR20120137294A (ko) 부품 촬상 방법, 부품 촬상 장치, 및 동 장치를 구비한 부품 실장 장치
JP4401792B2 (ja) 部品認識方法、同装置および表面実装機
JP3977668B2 (ja) 部材載装機器
JP2007214494A (ja) マーク認識方法および表面実装機
JP6721716B2 (ja) 撮像装置及びこれを用いた表面実装機
JP4704218B2 (ja) 部品認識方法、同装置および表面実装機
JPH09321494A (ja) 表面実装機の照明装置
JP2006310647A (ja) 表面実装機および部品実装方法
JP4361312B2 (ja) 表面実装機の部品認識方法および同装置
JP4213292B2 (ja) 表面実装機の部品認識装置
JP4216114B2 (ja) 表面実装機の部品認識装置
JP4351083B2 (ja) 表面実装機
JP2007103436A (ja) 部品実装方法及び部品実装機
JP4298462B2 (ja) 部品認識装置、部品認識方法、表面実装機および部品試験装置
JP4339141B2 (ja) 表面実装機
JP2703192B2 (ja) 実装機の部品認識装置
JP2007128957A (ja) 電子部品移載装置
JP6139833B2 (ja) 部品実装装置および部品実装装置におけるヘッド部への部品の割り付け方法
JP4358015B2 (ja) 表面実装機
JP4319095B2 (ja) 表面実装機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Ref document number: 4401792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term