JP2004213562A - 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム - Google Patents

部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム Download PDF

Info

Publication number
JP2004213562A
JP2004213562A JP2003002424A JP2003002424A JP2004213562A JP 2004213562 A JP2004213562 A JP 2004213562A JP 2003002424 A JP2003002424 A JP 2003002424A JP 2003002424 A JP2003002424 A JP 2003002424A JP 2004213562 A JP2004213562 A JP 2004213562A
Authority
JP
Japan
Prior art keywords
component
electronic component
recognition
data
electrode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003002424A
Other languages
English (en)
Other versions
JP3993107B2 (ja
Inventor
Atsushi Tanabe
敦 田邊
Shinji Yoshino
信治 吉野
Masahiro Hayashizaki
昌弘 林崎
Eiichi Hachitani
栄一 蜂谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003002424A priority Critical patent/JP3993107B2/ja
Publication of JP2004213562A publication Critical patent/JP2004213562A/ja
Application granted granted Critical
Publication of JP3993107B2 publication Critical patent/JP3993107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】電子部品の自動認識処理に必要な部品データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる部品認識データ作成装置を提供する。
【解決手段】電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを作成する部品認識データ作成方法であって、電子部品の外観情報の入力と、該入力された外観情報に基づく電子部品の撮像を行い、撮像して得られた画像データから電子部品のボディ及び電極の特徴項目を測定して電子部品の部品種を特定し、該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定し、該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出する。
【選択図】 図5

Description

【0001】
【発明の属する技術分野】
本発明は、電子部品を実装する際に用いる部品情報の記録された部品認識データを作成する部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラムに関し、特に部品認識データの作成を簡単化する技術に関するものである。
【0002】
【従来の技術】
回路基板上へ電子部品を実装する部品実装装置では、電子部品の多電極・細密化や、回路基板上での高密度実装化が進むにつれ、電子部品の回路基板上での位置決め精度の向上が重要課題となっている。電子部品の位置決め精度を向上させるためには、実装する電子部品の種類、実装処理時における電子部品の各電極の向きや端部位置等を正確に認識しておく必要があり、この実装処理時における電子部品の認識に、画像データを用いた自動認識処理が導入されている。
【0003】
この自動認識処理は、電子部品を撮像した画像データを解析し、予め作成しておいた部品認識用基準データとの照合処理等で、その部品における電極の形状や位置、回転等による位置ずれの有無を検知するもので、検知された情報は実装時の位置修正等に利用される。
【0004】
自動認識処理の際に使用される部品認識用基準データは、認識対象となる部品毎に、装備されている各電極の配置や大きさ、画像データから各電極を検出するためのアルゴリズムの指定等で構成される。
【0005】
以下に、一具体例として部品認識用基準データの構成を説明する。
まず、角型チップ部品を認識する場合のデータ作成の様子を説明する。
図38は、角形チップ部品11の外観形状を示す図である。
角形チップ部品11は、左右に電極12が配された形状であり、このような左右に電極12を有する部品を認識する場合、角型チップ部品用の画像データ解析アルゴリズムを使用して電極12の検出を行う。このアルゴリズムを使用する場合には、図38に示すように、角型チップ部品11の部品寸法L1,W1、及び電極の長さd1,d2のデータが必要となる。即ち、角形チップ部品11を認識するための部品認識用基準データとしては、使用するアルゴリズムの指定の他に、
Figure 2004213562
等の寸法入力用の判定基準項目を備えた内容にする。
【0006】
次に、QFP部品を認識する場合のデータ作成の様子を説明する。
図39は、QFP部品21の外観形状を示した図である。QFP部品21は等間隔で並んだ電極22が上下左右の辺にそれぞれ配された形状をしている。このような上下左右の辺に等間隔の電極22が配された部品を認識する場合、リード型部品用のアルゴリズムを使用して電極22の検出を行う。このアルゴリズムを使用する場合には、図39に示すように、QFP部品21の部品寸法L1,W1、リード外形Lt,Wt、電極の幅h1,電極の間隔Pt、電極数Nu,Nd,Nl,Nrのデータが必要となる。即ち、QFP部品21を認識するための部品認識用基準データとしては、使用するリード型部品用のアルゴリズムの指定の他に、
Figure 2004213562
等の寸法入力用の判定基準項目を備えた内容にする。
【0007】
更に、部品認識用基準データには、上記の判定基準項目の他にも、撮像するカメラの視野サイズを切り替えるためのカメラ番号Cnや、電子部品を照明する際の照明角度や照明の強さを切り替えるための照明コード番号Lc等、が必要となる場合もある。
【0008】
上記の例から明かなように、部品認識処理に必要となる判定基準項目は、電極検出に使用するアルゴリズムによって異なるが、従来では、入力する判定基準項目として、予め、▲1▼部品寸法 :L1,L2,W1,W2、▲2▼リード外形:Lt,Wt、▲3▼電極寸法 :d1,d2,h1,h2,Pt、▲4▼電極数 :Nu,Nd,Nl,Nr、▲5▼カメラ番号Cn、▲6▼照明コード番号Lc等のように、全ての判定基準項目を盛り込んだ定型のデータ入力フォームを採用することで、使用するアルゴリズムが異なる全ての電子部品に対して共通のサイズのデータ入力フォームを利用できるようにしている。
【0009】
ところで、従来、これらの各判定基準項目への必要データの入力は、全て人手によって設定されていた。即ち、入力作業者は、認識対象となる電子部品と図40に示すような部品種毎に示されたデータシートとを見比べて、最適な認識アルゴリズムを選択し、この選択された認識アルゴリズムに応じて所定位置の寸法を見本の電子部品から実測することで、必要な寸法等の入力を行っていた。
【0010】
ところが、作業者が全ての入力を行う従来の方法では、作業者にかかる負担が大きく、また、部品形状等の誤認によって間違った部位の寸法データ等を入力してしまう虞があった。
そこで、このような問題の発生を防止するべく、電子部品のボディ寸法や、装備されている各電極の配列寸法等の実測データを入力すると、その入力データに基づいて、装置がその電子部品の形状を作図して示すものが提案されている(例えば、特許文献1参照)。
【0011】
【特許文献1】
特開2002−24804号公報
【0012】
【発明が解決しようとする課題】
上記の特許文献1に開示のように、作業者の入力データの示す部品形状を装置が作図する構成であれば、作図された形状と現品とを見比べることで、形状の誤認による過誤の有無を簡単に判定することができ、作業の信頼性向上と、処理の迅速化を図ることが可能になる。
【0013】
ところが、上記の特許文献1の技術を利用したとしても、作業者にボディや電極配列の寸法の実測という処理が委ねられているため、例えば、図39に示したように、多数の電極を有する複雑な構造の電子部品の場合には、電極の寸法測定に多くの時間を要したり、ノギス等の測定工具を使った測定時の読取誤差等が入力データの正確さを損なう虞があった。
【0014】
本発明は、このような従来の問題点に鑑みてなされたもので、例えば、部品実装装置等における電子部品の自動認識処理に必要な部品データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラムを提供することを目的としている。
【0015】
【課題を解決するための手段】
上記目的を達成するための、本発明に係る請求項1記載の部品認識データ作成方法は、電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを作成する部品認識データ作成方法であって、前記電子部品の外観情報の入力と、該入力された外観情報に基づく前記電子部品の撮像を行い、撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定し、該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定し、該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出することを特徴とする。
【0016】
この部品認識データ作成方法によれば、作業者が電子部品の外観情報について入力すると、電子部品を撮像して、得られた画像データの解析と、入力された外観情報とに基づいて、電極やボディの特徴項目を測定することで部品種を特定し、この電子部品に適応する認識アルゴリズムを選定し、選定した認識アルゴリズムによる認識処理に必要とされる部品形状データが自動的に抽出される。即ち、作業者の行う入力は、電子部品の外観上の特徴項目に対する入力という簡単な操作だけで済み、手間のかかる寸法の実測が不要になるだけでなく、専門知識が必要となる認識アルゴリズムの選択等も不要になる。このように、作業時の作業者への負担が大幅に軽減され、電子部品の自動認識処理に必要な部品認識用基準データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる。
【0017】
請求項2記載の部品認識データ作成方法は、前記入力する電子部品の外観情報が、電子部品のボディの色、電極の形状のうち少なくともいずれかであることを特徴とする。
【0018】
この部品認識データ作成方法によれば、入力する電子部品の外観情報が、電子部品のボディの色、電極の形状のうち少なくともいずれかであることにより、簡単な入力項目だけで部品種を特定することができる。
【0019】
請求項3記載の部品認識データ作成方法は、前記電子部品を撮像した画像データに対して、前記電子部品の特定部位の画像領域に、該特定部位と等価な他の特定領域における画像領域を貼り付け、前記特定部位の情報欠落を補完することを特徴とする。
【0020】
この部品認識データ作成方法によれば、例えば、単に撮像条件の調整等だけでは一部の電極の画像領域が不鮮明になってしまう場合に、同様の電極が鮮明に写っている部分を、不鮮明部分に貼り付けて補完することで、簡単に必要な部位全域を鮮明な画像にすることができ、画像データの解析によるボディや電極の測定・検出が容易になる。これにより、鮮明な画像を撮像することが難しい複雑構造の電子部品の場合でも、比較的に容易に、正確な部品認識データを作成することが可能となる。
【0021】
請求項4記載の部品認識データ作成方法は、前記電子部品の撮像を、カラー画像として撮像すると共に、前記電子部品の背景を該電子部品の外観色成分を含まない色に設定することを特徴とする。
【0022】
この部品認識データ作成方法によれば、背景色を電子部品の外観色成分を含まない色に設定することで、実際の電子部品の色に拘わらず、その電子部品のボディや電極の輪郭を確実且つ精度よく抽出できるようになり、撮像した画像データからの電子部品の形状解析が容易になる。
【0023】
請求項5記載の部品認識データ作成方法は、前記部品認識データが、前記電子部品の撮像時に、該電子部品に応じて適切な照明条件が確保されるように、前記電子部品の照明光の照射条件が含まれていることを特徴とする。
【0024】
請求項5記載の部品認識データ作成方法によれば、部品認識データに適切な照明条件が記録されていることにより、電子部品を撮像の際に安定して良好な画像データを得ることができ、画像データの解析を容易にできる。
【0025】
請求項6記載の部品認識データ作成方法は、前記電子部品を撮像した画像データから電子部品の特徴項目を測定する手順が、前記画像データから電子部品の外形を検出するステップと、前記電子部品の外形から検出した傾き量を前記画像データに対して回転補正するステップと、電子部品の電極を検出するステップと、電子部品のボディを検出するステップと、検出された電極のうち、隣接する電極の電極間距離及び電極形状を平均化するステップと、前記検出したボディとの位置関係に基づいて隣接する電極を整列させるステップと、を有することを特徴とする。
【0026】
この部品認識データ作成方法によれば、画像データから電子部品の外形を検出し、電子部品の外形から検出した傾き量を画像データに対して回転補正し、電子部品の電極を検出し、電子部品のボディを検出し、検出された電極のうち隣接する電極の電極間距離及び電極形状を平均化し、検出したボディとの位置関係に基づいて隣接する電極を整列させることで、画像データから電子部品の特徴項目が測定される。従って、電子部品の特徴項目が正確に測定され、信頼性が向上する。
【0027】
請求項7記載の部品認識データ作成装置は、電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを作成する部品認識データ作成装置であって、前記電子部品の外観情報を入力する入力手段と、前記電子部品を撮像する撮像手段と、撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定し、該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定する認識アルゴリズム選定手段と、前記選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出する部品形状データ抽出手段とを備えたことを特徴とする。
【0028】
この部品認識データ作成装置によれば、作業者が入力手段により電子部品の外観情報について入力すると、撮像手段が電子部品を撮像して、得られた画像データの解析と、入力された外観情報とに基づいて、電極やボディの特徴項目を測定することで部品種を特定し、この電子部品に適応する認識アルゴリズムを認識アルゴリズム選定手段により選定し、選定した認識アルゴリズムによる認識処理に必要とされる部品形状データが部品形状データ抽出手段により自動的に抽出される。即ち、作業者の行う入力は、電子部品の外観上の特徴項目に対する入力という簡単な操作だけで済み、手間のかかる寸法の実測が不要になるだけでなく、専門知識が必要となる認識アルゴリズムの選択等も不要になる。このように、作業時の作業者への負担が大幅に軽減され、電子部品の自動認識処理に必要な部品認識用基準データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる。
【0029】
請求項8記載の部品認識データ作成装置は、前記電子部品を前記特定された部品種に適応する最適な入射光方向及び入射光強度で照明する照明手段を備えたことを特徴とする。
【0030】
この部品認識データ作成装置によれば、照明手段により電子部品を最適な入射光方向及び入射光強度で照明することで、適正な照明による鮮明画像の撮像が容易になり、結果的に、画像データの解析によるボディや電極の測定精度を向上させることができる。
【0031】
請求項9記載の部品認識データ作成装置は、前記撮像手段がカラースキャナからなり、該カラースキャナが、電子部品の背景を該電子部品の外観色成分を含まない色に設定する背面カバーを備えたことを特徴とする。
【0032】
この部品認識データ作成装置によれば、背面カバーの色を撮像する部品の色成分を有しない色に設定することにより、撮像後に画像処理にて画像データの背景部分を除去し、部品のみを抽出することが容易に行え、この場合には、部品認識が簡単かつ確実に行えるようになる。
【0033】
請求項10記載の部品認識データ作成プログラムは、電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを、プログラムされたコンピュータによって作成する部品認識データ作成プログラムであって、前記電子部品の外観情報の入力と、該入力された外観情報に基づく前記電子部品の撮像を行うステップと、撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定するステップと、該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定するステップと、該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出するステップとを実行することを特徴とする。
【0034】
この部品認識データ作成プログラムによれば、作業者からの電子部品の外観情報についての入力を受けて、電子部品の撮像、得られた画像データの解析、入力された外観情報とに基づく部品種の特定を行い、この電子部品に適応する認識アルゴリズムを選定し、選定した認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出する。これにより、作業者の行う入力は、電子部品の外観上の特徴項目に対する入力という簡単な操作だけで済み、手間のかかる寸法の実測が不要になるだけでなく、専門知識が必要となる認識アルゴリズムの選択等も不要になる。
【0035】
【発明の実施の形態】
以下、本発明に係る部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラムの実施の形態について、図面を参照して詳細に説明する。
(第1の実施の形態)
図1は部品認識用基準データを用いて電子部品の認識処理を行い実装する電子部品実装装置の斜視図、図2は図1に示す電子部品実装装置の認識処理の説明図で、図3は部品認識データ作成装置の概略構成図、図4は図3に示す部品認識データ作成装置による処理手順を示すフローチャートである。
【0036】
図1に示した電子部品実装装置100は、基台10の上面中央に回路基板12のガイドレール14が設けられている。このガイドレール14の搬送ベルトによって、回路基板12は、一端側のローダ部16から電子部品の実装位置18に、また、実装位置18から他端側のアンローダ部20に搬送される。基台10の上方の両側部には、Yテーブル22,24が設けられ、これらの2つのYテーブル22,24間には、Xテーブル26が懸架されている。
【0037】
また、Xテーブル26には、移載ヘッド28が取り付けられている。Xテーブル26上の移載ヘッド28は、図示せぬXYロボットによる制御で、X軸方向の任意位置に移動可能であり、Xテーブル26自体は前記XYロボットによる制御でY軸方向の任意位置に移動可能になっていて、これにより移載ヘッド28がX−Y平面内の任意位置に移動可能になっている。
【0038】
移載ヘッド28は、例えば、抵抗チップやチップコンデンサ等の電子部品が供給されるパーツフィーダ30、又はSOPやQFP等のICやコネクタ等の比較的大型の電子部品が供給されるパーツトレイ32から所望の電子部品を吸着ノズル34により吸着すると、図2に示すように、一旦、部品認識位置51に移動して、部品認識位置51に装備されている後述の認識装置36により電子部品の吸着姿勢を検出した後、回路基板12の上方の実装位置52に移動することで、回路基板12の所定位置に電子部品を装着できるように構成されている。
【0039】
このような電子部品の実装動作は、予め設定された実装プログラムに基づいて図示しない制御装置(メインコントローラ)により制御される。なお、制御装置には、図示しない操作パネルによりテータ入力が可能である。
【0040】
ここで、実装プログラムとは、電子部品実装装置100が実装する電子部品の上方を有するNC情報に対して、実装順序を組み替えて作成した組み替えデータを、上記のXYロボットや移載ヘッド28のノズル等を駆動するための命令形態に変換したプログラムである。
この実装プログラムの作成に当たっては、各電子部品の実装位置等の情報が記録されているNC情報と、各電子部品の電極形状等の情報が登録されている部品データとを用いて、作業者からの入力を伴って行われる。このように作成された実装プログラムを制御装置が実行することで、電子部品の回路基板への実装が行われる。
【0041】
パーツフィーダ30は、ガイドレール14の両端部に多数個並設されており、各パーツフィーダ30には、例えば、抵抗チップやチップコンデンサ等の電子部品が収容されたテープ状の部品ロールがそれぞれ取り付けられている。また、パーツトレイ32は、ガイドレール14と直交する方向が長尺となるトレイ32aが計2個載置可能で、各トレイ32aは部品の供給個数に応じてガイドレール14側にスライドして、Y方向の部品取り出し位置を一定位置に保つ構成となっている。このトレイ32a上には,QFP等の電子部品が載置される。
【0042】
認識装置36は、ガイドレール14に位置決めされた回路基板12の側部の部品認識位置51に配置されている。この認識装置36は、部品認識位置51に移動した移載ヘッド28の吸着ノズル34に保持されている電子部品を内蔵の電子部品撮像装置によって撮像し、その画像データを予め入力された部品認識用基準データに基づいて解析することで、吸着されている電子部品を認識し、且つ、吸着ノズル34に吸着された電子部品の2次元的な位置ずれ(吸着姿勢)を検出する。この検出結果に基づいて、電子部品の位置ずれをキャンセルする動作制御が、移載ヘッド28においてなされる。
【0043】
図3に示すように、この第1の実施の形態の部品認識データ作成装置55は、前記認識装置36で使用する部品認識用基準データを作成するもので、認識対象となる電子部品57の現物を撮像して画像データを得る撮像手段としての電子部品撮像装置61と、この電子部品撮像装置61が撮像する電子部品57に照明光を照射する照明装置62と、作業者が認識対象の電子部品57を特定するための識別用データの入力に使用するキーボードやマウス等の入力手段63と、電子部品撮像装置61によって撮像した画像データや入力手段63から入力されたデータに基づいて所定のデータ解析処理を実施して認識装置36の認識処理に必要な部品認識用基準データを自動生成する情報処理装置(コンピュータ)64と、この情報処理装置64に接続されて情報処理装置64における処理内容や入力データ等の表示を行う表示装置65とを備えた構成である。
【0044】
電子部品実装装置100の部品部品認識位置51に装備される認識装置36は、図3に示した電子部品撮像装置61、照明装置62、情報処理装置64等を備えた構成であるので、部品認識データ作成装置55を認識装置36として機能させることができる。
【0045】
情報処理装置64は、電子部品撮像装置61,照明装置62,入力手段63,表示装置65等の情報処理装置64に接続される各周辺機器の動作を制御する周辺機器制御部66と、電子部品撮像装置61から入力される画像データや入力手段63から入力指示される識別用データ等の入力データを管理する入力データ制御部67と、入力データ制御部67が受け取った入力データに基づいて、所定の解析処理を実施して部品認識用基準データを生成したり、前記表示装置65への表示画像の制御を行う認識処理制御部68とを有している。ここで、情報処理装置64には、詳細は後述するが、特定された部品種に適応する認識アルゴリズム群が予め記憶され、これらのアルゴリズムから適切なアルゴリズムを選定する認識アルゴリズム選定手段と、認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出する部品形状データ抽出手段とが備えられている。
【0046】
つまり、本実施の形態の部品認識データ作成装置55は、認識装置36の自動認識処理に必要な部品認識用基準データを、予め設定した判定基準項目に対して入力手段63から入力される識別用データと、電子部品撮像装置61から入力される電子部品の画像データから自動生成する。
【0047】
入力手段63から入力する判定基準項目は、表示装置65に表示するようになっている。
本実施の形態の場合、判定基準項目には、認識対象となる電子部品の電極の形状、電極接地面形状、ボディの色等の外観上の特徴項目を割り当てている。
更に、特徴項目に対する識別用データの入力方式を、予め上記特徴項目毎に設定した識別用データ候補群を選択可能に表示装置65上に表示し、表示装置65上に表示された識別用データ候補群からプルダウンメニューによって該当する識別用データを選択指定する選択入力方式にしている。
【0048】
情報処理装置64の認識処理制御部68は、予め認識対象の電子部品毎にボディや電極の配置等に関する各種の寸法データ等を格納した部品データベースと、電子部品の画像データからボディや電極の位置を検出する認識アルゴリズムを電子部品の形状分類等に基づいて格納したアルゴリズムデータベースと、電子部品の画像データの解析処理や部品認識用基準データの生成処理に必要なプログラムを格納したプログラム記憶部とを備えていて、作業者が入力手段63を介して選択入力した識別用データと、電子部品撮像装置61によって電子部品現物を撮像した画像データの解析とからその電子部品の電極やボディの寸法・位置を自動・半自動で検出して、該電子部品の部品種を特定すると共に、この特定した部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定し、該認識アルゴリズムによる認識処理に必要とされる部品の各部寸法等の部品認識用基準データを自動的に抽出する。
【0049】
本実施の形態の部品認識データ作成装置55における具体的な処理手順を、図4に示した。
図4に示すように、まず、認識対象となる電子部品の電極の形状、電極接地面形状、ボディの色等の外観上の特徴項目を、表示装置65の選択入力画面に表示し、これらの特徴項目への入力を完了させる(ステップ301、以降はS301と略記する)。すると、その入力データに基づいて、予め設定しておいた判断基準に基づいて、前記電子部品撮像装置61における撮影条件を決定する(S302)。次いで、S302で決定した撮影条件に基づいて照明装置62を作動させて、電子部品撮像装置61に電子部品現物を撮像させる(S303)。次いで、撮像した画像データを認識処理制御部68が解析して、ボディの寸法や、各電極の配置及び寸法を検出する(S304)。次いで、検出した各部の寸法データに基づいて、その部品の認識処理に必要なデータを集めた部品認識用基準データを決定し、生成する(S305)。
生成した部品認識用基準データは、表示装置65に表示すると共に、所定の記憶装置に記憶され、必要に応じて、情報処理装置64に接続されたプリンタ等にハードコピーとして出力可能である。
【0050】
以上の第1の実施の形態の部品認識データ作成装置55による部品認識用基準データの具体的な作成例を、図面に基づいてより詳細に説明する。
部品認識用基準データの作成にあたり、まず図5(a)に示すように、外観上の特徴項目である部品サイズ98a、ボディの色98b、電極タイプ(形状)98c、電極接地面形状98d等を割り当てた判定基準項目98を有する選択入力画面99上で、識別用データを選択入力する。選択入力画面99で、符号102で示す選択入力欄は、判定基準項目98のボディの色98bに対するもので、選択した「黒」が、作業者の入力した識別用データである。
ボディの色は電極とボディがどの程度のコントラストを有しているかの目安にする。部品を撮像すると電極部分は明るくなるが、それに比較してボディがどのように映るかが分かる程度に予め設定する必要がある。入力の方法は色見本から同等のものを選択する方法でも構わないが、前述の条件が分かる程度に、例えば以下の7種の中から選択する。
【0051】
(1) 黒
(2) 光沢のない濃い色
(3) 光沢のある濃い色
(4) 赤・黄系統の色
(5) 緑系統の色
(6) 青系統の色
(7) 白
【0052】
ボディ色の黒か白かは、コントラストを明確に知るために適している。光沢がある場合は、光の加減により濃い色でも高い輝度で映る場合があるため、光沢がない場合と分別するほうが望ましい。また、照明に単色のLEDを使用する場合は照明の色によって明るさが異なるため、図6に示すように、照明装置62として三原色(赤・緑・青)の発光体(LED)を分別装備した構成とする方が望ましい。
【0053】
ボディの色分けとして、7種の例を挙げたが、部品における光沢の有無等で鮮明画像の撮影が困難にならないように、適度の選択肢が装備されていれば、色分けの選択しの数は、上記実施の形態に限らない。
【0054】
次に、図5(a)の103,104に示すような選択肢を選択するか、図5(b),(c)のような簡略図形による選択画面から相当するものを選択する方式で、電極の形状を入力する。
電極の形状は、コントラストを知る目安になる上、電極の位置関係を推測することにも役立つ。
【0055】
一般的な角チップ抵抗・コンデンサ/QFP・BGA等パッケージの種類から電極の形状が限定される場合は、パッケージの種類を選択することにより電極の形状を入力する方式としてもかまわないが、名称の不明な部品や選択肢にない場合には入力できなくなってしまうので、本実施の形態に例示のように、具体的な電極タイプや電極接地面形状を、選択候補の中から選択指定する方式の方が、作業者にかかる負担を軽減することができる。
【0056】
図7の(a)〜(i)に示す9種の電極タイプは、図5(b)に示した電極タイプ選択画面における各電極タイプの選択候補を拡大表示したものである。また、図8は、図5(c)に示した電極接地形状選択画面における各電極接地形状の選択候補を拡大表示したものである。
【0057】
図7に示すように、(a)の電極タイプは、一体型の角チップコンデンサ部品のように電極とボディが一体になっているタイプ、(b)の電極タイプは、装着面型で半固定抵抗等のようにボディの装着面上に電極が形成されているタイプ、(c)の電極タイプは、L型でアルミ電解コンデンサ部品のようにボディの内側から外側に向かって電極がL字型に出ているタイプ、(d)の電極タイプは、逆L型でL型とは逆にボディの内側に向かって電極が出ているタイプ、(e)の電極タイプは、側面型でQFP部品のようにボディの側面から外側に向かって電極が出ているタイプ、(f)の電極タイプは、J型でPLCC部品のようにボディ側面から内側に電極がJ字型に出ているタイプ、(g)の電極タイプは、挿入型で基板のスルーホールに電極を挿入するタイプ、(h)の電極タイプは、ボール型でBGA部品のように電極がボール状(例えば半球状)になっているタイプ、(i)の電極タイプは、柱型でCCGA部品のように柱状に伸びた電極を表面実装するタイプを指す。
【0058】
ほとんどの電子部品の電極は、以上のいずれかのタイプに属する。部品によってはこれらが組み合わさったものも存在するが、この場合は電極の数が最も多いタイプのものを選択する。これらの電極タイプには電極の基板との接地面の形状が特定されるものもあるが、特定できないものもあるので、その場合には、図8(a)に示すように平面であるか、あるいは図8(b)に示すように湾曲面であるかを選択する。
【0059】
なお、電子部品撮像装置61は、CCDカメラを用いて構成することができ、異なる視野寸法(分解能)を複数用意する場合には、図5(a)の101に示すように大まかな部品のサイズを入力することで視野寸法を特定する。即ち、視野寸法の異なるCCDカメラを複数用意しておき、どちらのカメラを使用して撮像するかを切り換えて設定する。
以上のように、表示装置65に表示される選択入力画面で、部品の外観上の特徴を選択入力する。
【0060】
以下、図9に示すような部品に対し、部品認識用基準データを生成する場合を例に挙げて、本実施の形態における処理手順を説明する。
まず、図5(a)のような選択入力画面から部品の特徴を選択入力する。
入力項目101では、部品の寸法が4mm以下なので「〜4mm」を選択する。入力項目102ではボディ121が暗い色なので「光沢のない濃い色」を選択する。入力項目103では電極122がボディと一体になっているので「一体型」を選択する。入力項目104では部品コーナーが丸く接地面が湾曲になるので「湾曲面」を選択する。
【0061】
部品の外観上の特徴が入力できたので、次に部品を撮像し、図10に示す画像データ131を得る。この場合、前述の特徴入力にて部品の寸法が4mm以下と入力されたので、それに適したカメラの視野寸法を選択し撮像する。得られる画像データ131では、電極部分に相当する電極パターン132の部分のみが輝度の高いデータとして撮像される。前述の入力項目102にてボディの色は「光沢のない濃い色」と入力されているので電極の検出としてはボディを気にせず輝度の高い部分が電極であると判断できる。
そこで、撮像画像に対して2値化処理を行い、電極パターン132の位置・寸法を抽出する。抽出の方法は、電極の形状に応じた方法を個別にとることが好ましいが、同一の方法であっても構わない。
【0062】
次に、ボディ部分を特定する。この画像の場合ボディ部分は明るくないのでボディ部分の判別は困難である。しかし、前述の入力項目103で電極のタイプが「一体型」と入力されているので、電極パターン132の内側の点線部133がボディ部分と推定できる。このようにしてボディと電極の測定が出来る。
【0063】
次に、得られたボディと電極の位置・寸法から部品認識用基準データを決定する。前述の入力項目93で電極のタイプが「一体型」であり、検出された電極の位置・寸法から認識アルゴリズムは図40の(a)に示す箱型のタイプが適当であると判断できる。
箱型では縦・横の外形寸法W1,L1の寸法を設定しなければならないので、W1には電極パターン132の縦幅を、L1には電極パターン132の間隔+横幅を設定する。また、撮像条件は、部品の撮像前に決定されているものを設定する。以上で部品認識用基準データが完成する。
【0064】
以上説明した第1の実施の形態の部品認識データ作成装置55では、作業者が電子部品の外観上の特徴項目について、表示装置65に表示される識別用データ候補群から該当するデータを選択入力すると、情報処理装置64が電子部品撮像装置61によって撮像された部品現物の画像データの解析を行い、選択入力された外観上の特徴データと、画像データの解析結果とに基づいて、電極やボディの寸法・位置を自動・半自動で測定・検出することで、この電子部品に適応する認識アルゴリズムを選定し、選定した認識アルゴリズムによる認識処理に必要とされるボディの形状・寸法、電極の配置や形状や寸法等の各種の識別用データが自動的に抽出される。
即ち、作業者の行う入力は、電子部品の外観上の特徴項目に対する選択入力という簡単な操作だけで済み、手間のかかる寸法の実測が不要になるだけでなく、専門知識が必要となる認識アルゴリズムの選択等も不要になる。従って、作業時の作業者への負担が大幅に軽減され、電子部品の自動認識処理に必要な部品認識用基準データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる。
【0065】
(第2の実施の形態)
図11は本発明に係る部品認識データ作成装置の第2の実施の形態の概略構成を示したもので、図12は本実施形態の部品認識データ作成装置が部品認識用基準データを生成する際の処理手順を示している。
この第2の実施の形態の部品認識データ作成装置71は、部品実装装置を用いずに製造ラインとは独立して設置されたシステムで実現しており、電子部品をカラー画像として撮像し、その際、背景を電子部品の外観色に対する色成分を有しない所定の色に設定する背景処理機能を備えたことを特徴とするものである。
【0066】
図11に示すように、電子部品のカラー撮影用として、ここでは一例として電子部品撮像装置にフラットベッド型のカラースキャナ72を使用している。また、カラースキャナ72には、撮像面を照射する照明機構が予め組み込まれているため、第1の実施の形態に示したような専用の照明装置62は配備していない。そして、入力手段63、情報処理装置64、表示装置65に関しては、第1の実施の形態と同様である。但し、電子部品をカラー撮影することを前提としており、撮影画像から電子部品のボディの色を認識可能であるため、図5(a)に示す外観の特徴項目として、ボディ色の入力は省略するようにしている。
【0067】
この第2の実施の形態では、図12に示す手順で部品認識用基準データを生成する。
即ち、図13に示す選択入力画面に従って、電極のタイプや電極設置面形状を選択入力する(S311)。すると、カラースキャナ72による撮像を行い(S312)、情報処理装置64の認識処理制御部68がカラースキャナ72から得たカラー画像を解析することで、画像データの示す電子部品のボディの色を検出する(S313)。次いで、先に入力された電極に関する選択入力データと検出したボディの色からボディの輪郭を推定して、ボディの寸法や、電極の配置・寸法を検出して(S314)、その検出結果に基づいてその電子部品の認識に必要な部品認識用基準データを決定する。
【0068】
図12に示した処理手順を、具体的な図示例で、説明すると以下の通りである。
まず、図13に示すような選択入力画面から前述の第1の実施の形態の場合と同様に電極のタイプ、接地面の形状を入力する。但し、本実施の形態では、撮像装置としてカラースキャナが採用されていて、カラースキャナの場合、画像入力サイズを自由に設定可能なので部品の大まかな寸法を入力する必要も無い。また、カラー画像が撮像できるため、カラー画像を処理しボディの色を抽出することが可能であり、ボディの色を選択入力する必要も無く、入力作業の簡略化が図られる。
【0069】
部品を撮像するには、図14に示すように、カラースキャナ72の読み取り面152上に部品153を載置して撮像する。その際、カラースキャナ73の読み取り面152の上方には背面カバー154を配置する。背面カバー154の色は、例えば黒色を好適に用いることができる。また、背面カバー154の天面を傾斜させることにより、カラースキャナ73の照明光を撮像系に戻すことが防止できる。さらに、背面カバー154の色を撮像する部品の色成分を有しない色(例えば青色や赤色)にし、一般にテレビ放送等で活用されているクロマキー技術(特定の色を切り抜いて他の映像と合成する技術)を応用して、撮像後に画像処理にて背景部分を除去し、部品のみを抽出する方法を用いてもよい。この場合には、部品認識が簡単かつ確実に行える。
【0070】
以下、図15に示すようなボディが赤色の部品161を一例として説明する。
まず、図13に示す選択入力画面から部品の特徴として、電極タイプに「装着面型」、接地面形状に「平面」を設定する。次に、部品をカラースキャナ72の読み取り面152上に載置して撮像し、図16(a)に示すような画像データ171を得る。
【0071】
そして、背景は、撮像側の面が青色にされた背面カバー154を使用することで、青色に設定する。青色の背景として取得した画像データ171に対して、まず画像データ171から青色成分のデータを削除した画像データ172を作成する。画像データ172には部品161以外の情報は入っていないので、この画像データ172の画素中で最も出現頻度の高い色を算出するとボディ173の赤色が抽出される。画像解析によって、この赤色を示すパターンの位置・寸法を測定すると、図16(b)に示すように、ボディ173の部分が測定できる。次に、図16(c)に示すように、画像データ172からボディ173の赤色成分を削除した画像データ174を作成する。得られた画像データ174には電極の情報しか存在しないので、電極パターン175の位置・寸法を測定することができる。
【0072】
次に、得られたボディと電極の位置・寸法から、部品認識用基準データが決定される。
電極のタイプが「装着面型」であり、検出された電極位置・寸法から認識アルゴリズムは図40の(b)示す内部電極型のタイプが適当であると判断できる。また、内部電極型では、ボディ寸法L1,W1、外形寸法Lt、電極寸法d1,d2,h1,h2、電極数N1,Nrを設定しなければならない。ボディ寸法L1,W1は画像データ172から測定したボディの寸法を設定する。外形寸法Ltは、画像データ174から測定した電極パターン175の間隔+電極横幅から設定する。電極寸法d1,d2,h1,h2も電極パターン175の寸法から設定する。電極数N1,Nrは、部品中心に対し左右に1つずつの電極パターン175なので、それぞれ1を設定する。また、撮像条件は、部品の寸法が分かっているので相応のカメラの視野寸法を設定すると同時に、ボディの色や電極形状から最適な照明条件を決定し設定する。以上で部品認識用基準データが完成する。
【0073】
以上説明した第2の実施の形態の部品認識データ作成装置71においては、背景色を適宜に選択することで、実際の電子部品の色に拘わらず、その電子部品のボディや電極の輪郭を鮮明に撮像できるようになり、撮像した画像データからの電子部品の形状解析が容易になり、電子部品の外観認識が容易になる。
【0074】
また、撮像した画像データの解析によって、ボディの色を作業者が入力する必要がなくなり、作業者の負担を更に軽減することができる。
【0075】
(第3の実施の形態)
図17は本発明に係る部品認識データ作成装置の第3実施の形態で使用する照明装置の照射スポットを示す平面図、図18は図17のA−A線に沿う照明装置の断面図、図19は第3の実施の形態の部品認識データ作成装置における照明装置の照明動作の制御手順を示すフローチャートである。
【0076】
この第3の実施の形態の電子部品撮像装置は、電子部品の撮像時に、その電子部品の外観特徴部に適切な照明が確保されるように、電子部品の外観特徴に応じて照明光の照射位置が可変に構成された照明装置73を備えたことを特徴としたもので、照明装置以外の構成は、例えば、第1の実施の形態の部品認識データ作成装置55と共通でよい。
【0077】
この照明装置73は、図示のように、照射角度が異なるように、角筒91内の上部開口内周、上部内周、底部内周に、それぞれに、発光素子LED1、LED2、LED3を配設することにより構成されている。発光素子LED1,LED2,LED3は、何れも、発光色が赤色のLEDである。そして、最上部の上部開口内周に配列された発光素子LED1は、照射面93に位置する電子部品に対して約10度の傾斜角θ1で照明光を照射し、その下の角筒上部寄りに配列された発光素子LED2は照射面93に位置する電子部品に対して約45度の傾斜角θ2で照明光を照射し、角筒の底部内周に配列された発光素子LED3は照射面93に位置する電子部品に対して約80度の傾斜角θ3で照明光を照射する。
なお、発光素子LED1は、ミラー95を用いて照射方向を変えている。また、図17において、符号94は照明光を照射したスポットを示している。この照明装置73によれば、撮像する部品形状に応じて、使用する発光素子を変更することで、部品形状に応じた適切な照明状態を得ることができる。
【0078】
この第3の実施の形態の部品認識データ作成装置では、前述した第1又は第2の実施の形態と同様に、作業者が電子部品の電極タイプ等の外観上の特徴項目についての選択入力を済ませると、その選択入力された情報に基づいて、部品の撮像に最適な照明条件を決定する。
【0079】
照明条件の決定は、例えば、ボディ色7種×電極タイプ9種×接地面形状2種等の複数の設定値を予め用意しておき、その中から条件に合うものを選択する方式でもよいが、本実施の形態では、図19のフローチャートに示すように、電極タイプとボディの色によって各LEDの照明条件を設定する。
【0080】
まず、電極タイプが装着面型であるか否かによって場合分けして(S321)、電極タイプが装着面型で且つボディ色が光沢有りの場合には、LED1のみをONにした照明を行う(S331,S332)。
【0081】
電極タイプが装着面型でも、ボディ色が光沢無しの場合には、S322に進んで、LED2のONを決定した後、照明条件の選定処理を続け、電極タイプがL型で且つ接地面形状が湾曲面の場合には、更にLED1もONに決定する(S323,S341,S342)。S341で電極タイプがL型ではないと判定された場合、及びS341で接地面形状が湾曲面ではない(即ち、平坦面)と判定された場合は、LED1はONにならず、LED2のみがONの照明条件となる。
【0082】
S321で、挿入型、ボール型、柱型の何れかに判定された場合は、S351で更に電極タイプの判定を受け、挿入型以外のものはS352に進んでボディ色の判定を受け、ボディ色が白の場合は、次のS353に進んでLED3のみをONに決定した照明条件を得る。
S351で挿入型と判定された部品、或いはS352でボディ色が黒と判定された部品は、何れもS361に進んで、LED1のみをONに決定した照明条件を得る。
【0083】
以上のように図19のフローチャートで照明条件を設定した理由を、具体的な電子部品について最適な照明条件を設定したケースを例にして説明する。
ここでは、図20に示すような水晶発振子部品に対して照明条件を設定する。この部品のボディ181は光沢のある黒である。この場合、最初の入力ではボディの色が光沢のある濃い色、電極タイプは装着面型、接地面形状は平面を選択する。
図19に示すフローチャートに従って照明条件を決定すると、LED1のみONとなる。電極はボディの内側にあるため、ボディと電極のコントラストがない場合には電極を検出することはできない。また、ボディは黒であるが、光沢があるためにLED2やLED3をONにするとボディが光ってしまい電極とのコントラストが悪くなってしまう。そのためLED1のみONとなる。
【0084】
更に、図21の(a)下側平面図、(b)側面図、(c)正面図を示すようなコネクタ部品で、電極191がL字に曲げられた構造の電子部品の場合について説明する。この場合、最初の入力はボディの色が光沢のない濃い色、電極タイプはL型、接地面形状は湾曲面を選択する。そして、図19に示すフローチャートに従って照明条件を決定すると、LED1,LED2がONになる。
電極191はボディから外に出ているため電極とボディとのコントラストはLED2のみで十分であるが、電極の接地面が湾曲であるためLED2だけでは実際の電極191よりも小さく映ってしまう。そのためLED1をONすることで電極191の側面も光らせて実際の電極幅通りに撮像することが可能になる。
【0085】
以上に説明した第3の実施の形態では、認識対象の電子部品のボディのサイズや、電極の配置等に応じて、更には、部品のボディの色や艶の有無等に応じて、照明光の照射位置を調整することで、電極の配列部等部品の要所に撮影に十分な照明状態を確保することが容易になり、適正な照明による鮮明画像の撮像が可能となり、結果的に、画像データの解析によるボディや電極の測定精度を向上させることができる。
【0086】
なお、実際の照明条件を決定するフローは、光学的な理論や実際に部品データを設定した実績から決定するのが望ましく、照明の配置やレンズ等の光学条件の変更があった場合には、適宜、フローを最適化すればよい。
【0087】
(第4の実施の形態)
図22は、本発明に係る部品認識データ作成装置の第4の実施の形態における画像データの解析処理時のフローチャートである。
この実施の形態では、上記の各実施の形態の場合と同様に、電子部品の外観上の特徴項目である電極タイプや、電極設置面形状について選択入力をすると、これらの情報をもとに撮像した画像データの解析を開始して、ボディと電極の位置・寸法を検出する。
但し、画像データの解析は、図22に示したように、まず、撮像された部品画像から部品の外形を検出し(S371)、次いで、部品の傾きを検出し(S372)、次いで、部品の傾き分だけ画像を回転して傾きを補正し(S373)、次いで、電極パターンを検出し(S374)、次いで、ボディを検出する(S375)。更に、類似寸法の電極パターンを平均化し(S376)、その平均化の結果に基づいて、電極パターンを整列する(S377)。
【0088】
図22の処理について、図23に示すようなSOP部品を例に説明する。
まず、部品の特徴入力はボディの色を「黒」、電極タイプ「側面型」、接地面形状が「平面」に設定する。そして、部品を撮像し、図24に示すような画像データ211を得る。図22のS372の部品の傾き検出では、この画像データ221において図25に示すように種々の方向(角度)に画素輝度値を投影した投影データ221を算出する。すると、部品の電極に対応する画素輝度が高いことから、投影データ221には2つのピークが出現する。この投影データ221において一定値以上のピーク間距離222を算出すると、そのピーク間距離222は、部品傾きと同じ方向(角度)に投影した場合が一番短くなる。従って、この一番短くなるピーク間距離222を算出することにより、部品の傾きを検出することができる。
【0089】
上記方法により、部品の傾きが得られたので、以降の解析の演算を簡便にするため、画像を回転補正して部品に傾きの無い状態の画像を得る(上記のS373)。図26に回転補正後の画像データ231を示す。
【0090】
この画像データ231に対して、2値化処理を行うと、図27に示す画像データ241のようになる。ボディの色は黒なので、この画像データ241には電極パターン242のみが抽出される(上記のS374)。なお、このときに、仮にノイズが検出されていても、データ作成時にノイズ成分は検出対象から除外されるため別段問題はない。
【0091】
次にボディを検出する(上記のS375)。
ボディの色は「黒」と入力されており、画像データ231からは直接的に検出することはできない。しかし、電極タイプは「側面型」なので、電極パターン242の内側に位置していることになる。そこで、電極パターン242を例えば部品中央付近から検索すると、上下方向は電極パターン242を検出して電極パターン242の内側が分かる。左右方向に関しては対象のものが存在しないので、上下での端までとし、推定ボディ243を決定する。
なお、上下左右にリードがあるQFP部品等は、同様の方法で実際のボディの位置が推定できるが、本実施例のようなSOP部品の場合はリードのない方向は推定が困難である。しかし、実際のボディと大きさが異なっても実質的な処理に影響を及ぼさないため、図示のように便宜的に最大電極幅に設定してもよく、また、予め部品毎に設定されているデータを参照して設定してもよい。
【0092】
以上の処理により電極とボディの検出が完了したが、この時点で検出された電極パターン242は、測定誤差から大きさにばらつきを有している。そこで、上記のS376の平均化処理では、隣接する電極同士をグループ化し、各グループで電極間距離を平均化して、同一グループに対する電極間距離を一定の寸法に設定する。例えば、画像データ241の縦・横方向に電極をサーチして、処理隣接距離内の電極をグループ化し、そのグループの電極に対する電極間距離、あるいは電極サイズを平均化する。そして、次のS377で、ボディとの位置関係から同一列に並んでいると思われる電極パターン242を整列させ、ボディ・電極の測定を終了する。
【0093】
このように、画像データの解析によって部品の電極パターンの検出する場合、電極パターンの検出前に、画像データの傾きの補正を行うことで、後の演算処理が簡便となり、処理時間の短縮を図ることができる。
【0094】
(第5の実施の形態)
図28は、本発明に係る部品認識データ作成装置の第5の実施の形態における画像データの解析処理時のフローチャートである。
この第5実施の形態の画像データ解析の特徴は、認識対象の電子部品の画像データを取得した際に、その電子部品の特定部位の映像が不鮮明で、既に処理済みの他の電子部品の画像データ中に前記特定部位の鮮明映像が存在する場合に、他の画像データ中の特定部位の鮮明映像をコピーして、特定部位の不鮮明映像部に貼り付ける画像処理によって、特定部位の不鮮明を解消する点である。
【0095】
図28に示したフローチャートでは、撮像した電子部品の一部の電極が不鮮明部位となっていて、検出できない場合に、同種の検出済みの電極を不鮮明部位にコピーすることで、全ての電極を検出可能にした例を示しているが、不鮮明部位は電極に限るものではなく、例えば、ボディの複雑な凹凸の一部が不鮮明で、その不鮮明部位を解消するような場合にも、本実施の形態の技術思想は適用可能である。
【0096】
図28のフローチャートの処理手順は、まず、撮像された部品画像からボディと電極を自動的に検出し(S381)、その結果、検出されない電極がある場合には、類似の電極が自動検出時に検出されているか否かを判定し(S382,S383)、検出済みの鮮明画像による電極パターンが存在している場合には、作業者が部品認識データ作成装置の入力手段を操作して、その検出済みの電極パターンを検出不可能になっている不鮮明部位上にコピーする形で電極の存在を教示する(S384)ことで、画像の不鮮明に起因していた電極の検出不能状態を解消する。
なお、検出済みの鮮明画像による電極パターンが存在していない場合には、その部分の電極の輪郭形状等を、作業者が直接画像への書き込み編集することで、検出不能状態を解消する(S385)。
【0097】
次に、以上の第5の実施の形態における処理の具体例を、図29に部品裏面を示すようなBGA部品を例に説明する。
部品の外観上の特徴入力は、第1の実施の形態の場合と同様で、ボディの色を「緑系統の色」、電極タイプを「ボール型」、接地面形状を「湾曲面」に設定する。部品の外観上の特徴入力が済むと、現物部品の撮像による画像データの取得が成される。この場合に、上記の第4の実施の形態で示した画像の傾き補正を行う。この画像データ261には、例えば、照明の当たり具合や電極の酸化の具合によて、多少暗めに(不鮮明に)映る電極262が存在するとする。
【0098】
このような状態の画像データ261に対して、上記のS381のボディ及び電極の自動検出処理が実行される。すると、ボディの色は「緑系統の色」であるから、背景の「黒」と多少の輝度差(コントラスト)がある。そこで、図31のように外側から画像中央に向け四方からエッジ検出を行うと、ボディのエッジ271が検出できる。
次に、ボディのエッジ271をサンプリングし、図32に示すような輝度のヒストグラムを作成する。図32において、縦軸は頻度、横軸は輝度を示している。
このヒストグラムには、ボディに相当する輝度のピーク281と、電極に相当する輝度のピーク282が現れる。
【0099】
そこで、この両者の2分の3の輝度283を2値化処理のしきい値に設定し、2値化処理を行うことで、図33に示すような2値化画像が得られる。この2値化画像により電極を抽出することができる。但し、図30で多少暗めに映っていた電極291は検出されない。
【0100】
このように検出できない電極がある場合は、作業者の画像編集操作によって、検出できない電極を教示する。その場合に、単純に位置と大きさを直接書き込む方法もあるが、少しでも作業者の負担を軽減するため、また、書き込みの精度によっては、後工程における不整合の発生を防止するため、本実施の形態では、S384に示すように、既に検出された他の同種の電極の情報を活用することで、簡単・確実に未検出電極の教示を行う。
【0101】
まず、検出された電極の大きさのヒストグラムを作成すると、図34に示すようなヒストグラムが得られ、ピーク301を検出すると数の多い、サイズが小さい方の電極の大きさが求められる。
【0102】
更に、図35(a)、(b)に示すように、電気接点である個々のボールから縦横それぞれの方向に最も近い電極までの距離をヒストグラムにし、それぞれのピークを求めると、X,Y方向のボールの配置ピッチ311,312が求められる。この得られた配置ピッチ311,312を用いて、検出されなかった電極を作業者が画像編集のコピー処理によって追加する。この追加編集は次のようにして行う。
まず、図36のように、検出されなかったサイズの小さい方の電極を追加する。つまり、図36(a)に示すように、既に検出されている電極321を選択し、図36(b)に示すように、それを追加したい場所へドラッグ&ドロップする。このとき、選択された電極は、前述の方法で配置ピッチが既知となっているので、そのピッチに従ってグリッド上のみ移動可能させることで、位置合わせが簡単かつ正確に行えるようになる。
【0103】
次に、図37のように、検出されなかったサイズの大きい方の電極も、画像編集のコピー処理によって追加する。
サイズの大きい方の電極は、配置ピッチを求めていないので、およその位置でドラッグ&ドロップによりコピーする。この場合、正確な位置にコピーすることが困難となるが、部品実装装置での装着動作時の認識処理では、数が多くサイズの小さい方の電極が認識対象として選ばれることが多いので、特に問題になることはない。また、画像編集に拡大表示する機能を設けることにより、上記したコピーや移動等の編集時の精度を向上することができる。
【0104】
また、未検出により追加したい電極が、既に検出されている電極に対して、その向きが90度単位で異なっている場合等は、コピー元の電極を回転させる機能を持たせることで簡単にして追加することができる。さらに、追加したい電極が、既に検出されている電極とは全く異なる場合は、画像上の数点をマウス等により指示することで、電極の外周形状を教示して追加する。
以上のようにして全ての電極の教示を完了すると、これらの情報より認識アルゴリズムを決定し、それに必要な寸法データを決定することで部品認識用基準データが簡単に作成できる。
【0105】
以上の第5実施の形態の部品認識データ作成装置においては、例えば、電子部品撮像装置の撮影条件の調整等だけでは、一部の電極の映像が不鮮明になってしまうような場合に、同様の電極が鮮明に写っている部分を、不鮮明部分にコピーすることで、簡単に必要な部位全域が鮮明な画像を得ることができ、画像データの解析によるボディや電極の測定・検出を容易にできる。
即ち、人手による画像編集作業が必要になるが、編集作業自体は単純なコピー作業であるため、作業者への負担は軽く、画像上で電極の位置・寸法を修正指示することによって簡単、且つ、正確に電極の寸法が測定できる。このため、鮮明な画像を撮像することが難しい複雑構造の電子部品の場合でも、比較的に容易に、正確な部品認識用基準データを作成することが可能となる。
【0106】
【発明の効果】
本発明の部品認識データ作成方法及び作成装置並びに部品認識データ作成プログラムによれば、作業者が電子部品の外観情報を入力すると、この外観情報に基づく電子部品の撮像を行い、得られた画像データから電子部品のボディ及び電極の特徴項目を測定する。この測定結果から電子部品の部品種を特定して、特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定し、該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出するようにした。即ち、作業者の行う入力は、電子部品の外観上の特徴項目に対する入力という簡単な操作だけで済み、手間のかかる寸法の実測が不要になるだけでなく、専門知識が必要となる認識アルゴリズムの選択等も不要になる。従って、認識作業時の作業者への負担が大幅に軽減され、電子部品の自動認識処理に必要な部品認識データを、電子部品の形状の複雑さを意識することなく、正確且つ迅速に作成することができる。
【0107】
【図面の簡単な説明】
【図1】本発明に係る部品認識データ作成装置で作成した部品認識用基準データで実装する電子部品の認識処理を行う電子部品実装装置の斜視図である。
【図2】図1に示した電子部品実装装置における認識処理位置の説明図である。
【図3】本発明の第1の実施の形態の部品認識データ作成装置の概略構成図である。
【図4】本発明の第1の実施の形態の部品認識データ作成装置における処理手順を示すフローチャートである。
【図5】作業者が入力を行う選択入力画面の構成説明図であって、(a)は判定基準項目を有する選択入力画面、(b)は電極の形状を示す画面、(c)は電極の装着面の形状を示す画面の説明図である。
【図6】照明装置として三原色の発光体を分別装備した構成を示すブロック図である。
【図7】電子部品の電極タイプの選択候補を(a)〜(i)で示す選択入力画面の拡大図である。
【図8】電子部品の電極接地形状の選択候補を(a),(b)で示す選択入力画面の拡大図である。
【図9】ボディと電極が一体型の電子部品の平面図である。
【図10】図9に示した電子部品を撮像した画像データである。
【図11】部品認識データ作成装置の第2の実施の形態の概略構成を示すブロック図である。
【図12】部品認識データ作成装置が部品認識用基準データを生成する際の処理手順を示すフローチャートである。
【図13】本発明の第2の実施の形態の部品認識データ作成装置における選択入力画面の説明図である。
【図14】本発明の第2の実施の形態の部品認識データ作成装置で使用しているカラースキャナの説明図で、(a)は撮像時の側面図、(b)は撮像時の正面図である。
【図15】第2の実施の形態の部品認識データ作成装置で処理する電子部品の平面図である。
【図16】図15に示す電子部品の画像データに対する処理手順の説明図である。
【図17】照明装置による照射スポットを示す平面図である。
【図18】図17のA−A線に沿う照明装置の断面図である。
【図19】照明装置の照明動作の制御手順を示すフローチャートである。
【図20】照明条件の設定例に使用した水晶発振子部品の形状説明図で、(a)は下面図、(b)は側面図、(c)は正面図である。
【図21】照明条件の設定例に使用したコネクタ部品の形状説明図で、(a)は下面図、(b)は側面図、(c)は正面図である。
【図22】本発明に係る部品認識データ作成装置の第4の実施の形態における画像データの解析処理時のフローチャートである。
【図23】第4の実施の形態の画像データの解析処理例で使用するSOP部品の上面図である。
【図24】図23に示した電子部品を撮像した画像データの傾きの説明図である。
【図25】画像データの傾きを検出する方法の説明図である。
【図26】画像データの傾きを補正した状態の説明図である。
【図27】傾きを補正した画像データから電極パターンやボディを検出する方法の説明図である。
【図28】本発明に係る部品認識データ作成装置の第5の実施の形態における画像データの解析処理時のフローチャートである。
【図29】第5の実施の形態で処理するBGA部品の形状説明図である。
【図30】図29に示した電子部品の画像データの説明図である。
【図31】エッジ抽出処理によってボディの輪郭を検出した状態の説明図である。
【図32】図31に示した画像データに対する輝度のヒストグラムである。
【図33】図30に示した画像データを2値化処理した画像の説明図である。
【図34】図33の画像データにおける電極の大きさのヒストグラムである。
【図35】図33の画像データにおけるボールから最短距離の電極までの距離のヒストグラムである。
【図36】検出されなかった電極を追加する操作を示す説明図で(a)は既に検出されている電極を選択する様子、(b)は電極を追加したい場所へドラッグ&ドロップする様子を示す説明図である。
【図37】検出されなかった電極をコピー処理によって追加する様子を示す説明図である。
【図38】角形チップ部品の外観形状を示す平面図である。
【図39】QFP部品の外観形状を示す平面図である。
【符号の説明】
36 認識装置
55 部品認識データ作成装置
61 電子部品撮像装置
62 照明装置
63 入力手段
64 情報処理装置
65 表示装置
66 周辺機器制御部
67 入力データ制御部
68 認識処理制御部
71 部品認識データ作成装置
72 電子部品撮像装置
73 照明装置
98 判定基準項目
98a 部品サイズ
98b ボディの色
98c 電極タイプ
98d 電極接地面形状
99 選択入力画面

Claims (10)

  1. 電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを作成する部品認識データ作成方法であって、
    前記電子部品の外観情報の入力と、該入力された外観情報に基づく前記電子部品の撮像を行い、
    撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定し、
    該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定し、
    該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出することを特徴とする部品認識データ作成方法。
  2. 前記入力する電子部品の外観情報が、電子部品のボディの色、電極の形状のうち少なくともいずれかであることを特徴とする請求項1記載の部品認識データ作成方法。
  3. 前記電子部品を撮像した画像データに対して、前記電子部品の特定部位の画像領域に、該特定部位と等価な他の特定領域における画像領域を貼り付け、前記特定部位の情報欠落を補完することを特徴とする請求項1又は請求項2記載の部品認識データ作成方法。
  4. 前記電子部品の撮像を、カラー画像として撮像すると共に、前記電子部品の背景を該電子部品の外観色成分を含まない色に設定することを特徴とする請求項1〜請求項3のいずれか1項記載の部品認識データ作成方法。
  5. 前記部品認識データが、前記電子部品の撮像時に、該電子部品に応じて適切な照明条件が確保されるように、前記電子部品の照明光の照射条件が含まれていることを特徴とする請求項1〜請求項4のいずれか1項記載の部品認識データ作成方法。
  6. 前記電子部品を撮像した画像データから電子部品の特徴項目を測定する手順が、
    前記画像データから電子部品の外形を検出するステップと、
    前記電子部品の外形から検出した傾き量を前記画像データに対して回転補正するステップと、
    電子部品の電極を検出するステップと、
    電子部品のボディを検出するステップと、
    検出された電極のうち、隣接する電極の電極間距離及び電極形状を平均化するステップと、
    前記検出したボディとの位置関係に基づいて隣接する電極を整列させるステップと、
    を有することを特徴とする請求項1〜請求項5のいずれか1項記載の部品認識データ作成方法。
  7. 電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを作成する部品認識データ作成装置であって、
    前記電子部品の外観情報を入力する入力手段と、
    前記電子部品を撮像する撮像手段と、
    撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定し、該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定する認識アルゴリズム選定手段と、
    前記選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出する部品形状データ抽出手段とを備えたことを特徴とする部品認識データ作成装置。
  8. 前記電子部品を前記特定された部品種に適応する最適な入射光方向及び入射光強度で照明する照明手段を備えたことを特徴とする請求項7記載の部品認識データ作成装置。
  9. 前記撮像手段がカラースキャナからなり、該カラースキャナが、電子部品の背景を該電子部品の外観色成分を含まない色に設定する背面カバーを備えたことを特徴とする請求項7又は請求項8記載の部品認識データ作成装置。
  10. 電子部品を撮像した画像データから該電子部品を認識する装置に適用され前記電子部品の認識条件が記録された部品認識データを、プログラムされたコンピュータによって作成する部品認識データ作成プログラムであって、
    前記電子部品の外観情報の入力と、該入力された外観情報に基づく前記電子部品の撮像を行うステップと、
    撮像して得られた画像データから前記電子部品のボディ及び電極の特徴項目を測定して前記電子部品の部品種を特定するステップと、
    該特定された部品種に適応する認識アルゴリズムを予め用意した認識アルゴリズム群から選定するステップと、
    該選定された認識アルゴリズムによる認識処理に必要とされる部品形状データを自動的に抽出するステップとを実行することを特徴とする部品認識データ作成プログラム。
JP2003002424A 2003-01-08 2003-01-08 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム Expired - Fee Related JP3993107B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003002424A JP3993107B2 (ja) 2003-01-08 2003-01-08 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003002424A JP3993107B2 (ja) 2003-01-08 2003-01-08 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム

Publications (2)

Publication Number Publication Date
JP2004213562A true JP2004213562A (ja) 2004-07-29
JP3993107B2 JP3993107B2 (ja) 2007-10-17

Family

ID=32820181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003002424A Expired - Fee Related JP3993107B2 (ja) 2003-01-08 2003-01-08 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム

Country Status (1)

Country Link
JP (1) JP3993107B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1694109A2 (en) 2005-02-21 2006-08-23 Omron Corporation Printed circuit board inspecting method and apparatus inspection logic setting method and apparatus
WO2006129562A1 (ja) 2005-06-02 2006-12-07 Matsushita Electric Industrial Co., Ltd. 部品自動教示装置
JP2006349490A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd 部品教示データ作成方法
JP2007012036A (ja) * 2005-06-02 2007-01-18 Matsushita Electric Ind Co Ltd 部品自動教示装置
WO2014087535A1 (ja) * 2012-12-07 2014-06-12 富士機械製造株式会社 実装データ作成装置および作成方法ならびに基板生産システム
JP2015133349A (ja) * 2014-01-09 2015-07-23 ヤマハ発動機株式会社 評価装置、表面実装機、評価方法
JP2016517071A (ja) * 2013-03-11 2016-06-09 ゲイツ コーポレイション 画像に基づく多軸掛けベルトの摩耗評価の改善された解析
JP2017106792A (ja) * 2015-12-09 2017-06-15 日本電信電話株式会社 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム
CN116027171A (zh) * 2022-12-23 2023-04-28 广东祺力电子有限公司 一种用于实现pcba板测试的智能系统及方法
EP4184440A1 (en) 2021-11-23 2023-05-24 Vissavi Spólka Z Ograniczona Odpowiedzialnoscia A device for detecting components and their details in 3d space

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101890773B1 (ko) * 2010-07-16 2018-09-28 엘지디스플레이 주식회사 광원유닛의 제조장치 및 제조방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1694109A3 (en) * 2005-02-21 2009-07-08 Omron Corporation Printed circuit board inspecting method and apparatus inspection logic setting method and apparatus
EP1694109A2 (en) 2005-02-21 2006-08-23 Omron Corporation Printed circuit board inspecting method and apparatus inspection logic setting method and apparatus
US7715616B2 (en) 2005-02-21 2010-05-11 Omron Corporation PC board inspecting method and apparatus and inspection logic setting method and apparatus
US8233724B2 (en) 2005-06-02 2012-07-31 Panasonic Corporation Automatic component teaching device
EP1887512A4 (en) * 2005-06-02 2008-08-13 Matsushita Electric Ind Co Ltd AUTOMATIC PIECE LEARNING DEVICE
JP2007012036A (ja) * 2005-06-02 2007-01-18 Matsushita Electric Ind Co Ltd 部品自動教示装置
JP4560008B2 (ja) * 2005-06-02 2010-10-13 パナソニック株式会社 部品自動教示装置
WO2006129562A1 (ja) 2005-06-02 2006-12-07 Matsushita Electric Industrial Co., Ltd. 部品自動教示装置
EP1887512A1 (en) * 2005-06-02 2008-02-13 Matsushita Electric Industrial Co., Ltd. Automatic part teaching device
JP2006349490A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd 部品教示データ作成方法
JP4580824B2 (ja) * 2005-06-15 2010-11-17 パナソニック株式会社 部品教示データ作成方法
CN104838738B (zh) * 2012-12-07 2017-10-27 富士机械制造株式会社 安装数据生成装置、生成方法及基板生产系统
WO2014087535A1 (ja) * 2012-12-07 2014-06-12 富士機械製造株式会社 実装データ作成装置および作成方法ならびに基板生産システム
CN104838738A (zh) * 2012-12-07 2015-08-12 富士机械制造株式会社 安装数据生成装置、生成方法及基板生产系统
JP6012759B2 (ja) * 2012-12-07 2016-10-25 富士機械製造株式会社 実装データ作成装置および作成方法ならびに基板生産システム
JP2016517071A (ja) * 2013-03-11 2016-06-09 ゲイツ コーポレイション 画像に基づく多軸掛けベルトの摩耗評価の改善された解析
JP2015133349A (ja) * 2014-01-09 2015-07-23 ヤマハ発動機株式会社 評価装置、表面実装機、評価方法
JP2017106792A (ja) * 2015-12-09 2017-06-15 日本電信電話株式会社 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム
EP4184440A1 (en) 2021-11-23 2023-05-24 Vissavi Spólka Z Ograniczona Odpowiedzialnoscia A device for detecting components and their details in 3d space
CN116027171A (zh) * 2022-12-23 2023-04-28 广东祺力电子有限公司 一种用于实现pcba板测试的智能系统及方法
CN116027171B (zh) * 2022-12-23 2023-11-14 广东祺力电子有限公司 一种用于实现pcba板测试的智能系统及方法

Also Published As

Publication number Publication date
JP3993107B2 (ja) 2007-10-17

Similar Documents

Publication Publication Date Title
JP3877501B2 (ja) 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体
JP6630545B2 (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
US9291450B2 (en) Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium
US7822261B2 (en) Board inspecting apparatus, its parameter setting method and parameter setting apparatus
US7505149B2 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
US6246788B1 (en) System and method of optically inspecting manufactured devices
JP5861462B2 (ja) はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置
JP4896136B2 (ja) 改善された構成部品ピックイメージ処理を備えたピックアンドプレース機
US7221443B2 (en) Appearance inspection apparatus and method of image capturing using the same
US7406191B2 (en) Inspection data producing method and board inspection apparatus using the method
EP1580691A2 (en) Automatic adjustment of acquisition of inspection image
JP3993107B2 (ja) 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム
TWI699318B (zh) 電子零件搬送裝置及電子零件檢查裝置
JP2009168582A (ja) 外観検査装置
JP4492356B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP6851095B2 (ja) ワイヤ形状検査装置およびワイヤ形状検査方法
JP5417197B2 (ja) 検査装置および検査方法
CN111275674A (zh) 一种芯片烧录检测方法、系统和计算机可读存储介质
CN111982933A (zh) 一种涂覆缺陷检测系统及装置
EP1639545A2 (en) Inspection system for and method of inspecting deposits printed on workpieces
JP4506395B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
CN116433604A (zh) 一种芯片识别方法和拾取系统
JP2007033126A (ja) 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置
JP5443894B2 (ja) 電子部品実装装置及びその吸着位置補正方法
JP4453503B2 (ja) 基板検査装置および基板検査方法並びに基板検査装置の検査ロジック生成装置および検査ロジック生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees