JP2008130865A - 部品吸着姿勢判別方法及び部品吸着姿勢判別システム - Google Patents

部品吸着姿勢判別方法及び部品吸着姿勢判別システム Download PDF

Info

Publication number
JP2008130865A
JP2008130865A JP2006315102A JP2006315102A JP2008130865A JP 2008130865 A JP2008130865 A JP 2008130865A JP 2006315102 A JP2006315102 A JP 2006315102A JP 2006315102 A JP2006315102 A JP 2006315102A JP 2008130865 A JP2008130865 A JP 2008130865A
Authority
JP
Japan
Prior art keywords
suction
adsorption
component
abnormal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006315102A
Other languages
English (en)
Other versions
JP4514230B2 (ja
Inventor
Hirotake Ezaki
弘健 江嵜
Tetsunori Kawakado
哲徳 川角
Takamasa Kawai
孝昌 河合
Taizo Umezaki
太造 梅崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Nagoya Institute of Technology NUC
Original Assignee
Fuji Machine Manufacturing Co Ltd
Nagoya Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd, Nagoya Institute of Technology NUC filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP2006315102A priority Critical patent/JP4514230B2/ja
Publication of JP2008130865A publication Critical patent/JP2008130865A/ja
Application granted granted Critical
Publication of JP4514230B2 publication Critical patent/JP4514230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Abstract

【課題】電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成する。
【解決手段】電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するシステムにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別する。この場合、ニューラルネットワークの出力層は1つでも良いし、複数であっても良い。
【選択図】図8

Description

本発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって部品の吸着姿勢が正常吸着か斜め吸着かを判別する部品吸着姿勢判別方法及び部品吸着姿勢判別システムに関する発明である。
一般に、電子部品実装機においては、吸着ノズルに部品を吸着し、この部品を回路基板上に移送して回路基板の所定位置に実装するようにしている。更に、吸着ノズルに吸着した部品をその下面側から撮像するカメラを設置して、このカメラで撮像した部品画像によって部品の種類を確認したり、吸着ノズルに対する部品の吸着位置のずれを補正するようにしている。
ところで、通常は、図18の(a)に示すように、吸着ノズル1に部品2が水平に吸着された状態になるが、図18の(b)に示すように、何らかの原因で吸着ノズル1に部品2が斜めに吸着された状態になることがある。このような斜め吸着(異常吸着)は実装不良の原因となるため、特許文献1(特開平6−216584号公報)に示すように、斜め吸着を検出する手段として光センサを用い、吸着ノズル1に吸着した部品2の両側に、光センサの発光素子3と受光素子4とをその光軸5が正常な吸着姿勢の部品2の下面よりも僅かに低い位置を通過するように配置したものがある。このものは、図18の(a)に示すように、部品2の吸着姿勢が正常吸着であれば、光軸5が部品2で遮断されないが、図18の(b)に示すように、部品2の吸着姿勢が斜め吸着である場合は、その部品2の下部で光軸5が遮断されることで、斜め吸着が検出されるようになっている。
しかしながら、この構成では、斜め吸着を検出する手段として、光センサ(発光素子3と受光素子4)を設ける必要があり、その分、コストアップする欠点がある。
そこで、特許文献2(特開2006−114821号公報)に示すように、予め、想定される正常な吸着姿勢の部品画像の外形線と交差する複数本のシークラインを当該部品画像の中心線に関して対称な位置に設定し、対称な位置関係にあるシークライン上の輝度の変化パターンを比較することで、部品の吸着姿勢が正常吸着か斜め吸着かを判別するようにしたものがある。
特開平6−216584号公報(第1頁等) 特開2006−114821号公報(第4頁等)
しかし、上記特許文献2の技術では、正常吸着と異常吸着(斜め吸着)とを判別する判別基準を設計開発者が設定するため、設計開発者の主観によって判別基準がばらついてしまい、その分、異常吸着の判別率が悪くなってしまう。
この課題を解決するために、本出願人は、特願2006−149799号の明細書に示すように、予め、正常吸着の部品画像と異常吸着(斜め吸着)の部品画像をそれぞれ多数収集し、各部品画像から特徴量を抽出した後、それらの特徴量のデータの統計的な分布を判別分析法により評価して正常吸着と異常吸着とを判別するための判別基準を設定してメモリに記憶しておき、以後、電子部品実装機の稼働中に吸着ノズルに部品を吸着する毎に、前記カメラで撮像した部品画像から特徴量を抽出し、その特徴量から前記判別基準に従って当該部品の吸着姿勢が正常吸着か異常吸着かを判別する技術を開発した。
しかし、この判別分析法を用いた判別方法では、異常吸着の判別率が従来よりも向上するものの、まだ93.1[%]にとどまっており、まだまだ異常吸着の判別率を改善する必要がある。
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成できる部品吸着姿勢判別方法及び部品吸着姿勢判別システムを提供することにある。
上記目的を達成するために、請求項1,5に係る発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するものにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたものである。
このようにすれば、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる。しかも、ニューラルネットワークによる学習効果によって部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。
本発明で使用するニューラルネットワークは、出力層の数を1つとするシンプルな構成のものであっても良いが、判別精度を向上させるために、請求項2,6のように、ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別するようにしても良い。
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図4〜図6に示すように、大別して3つのパターン(右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着)に分類できることが判明した。従って、複数の出力層を設ける場合は、請求項3,7のように、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を設けるようにすると良い。このようにすれば、異常吸着をパターン毎に判別できるため、正常吸着のものを異常吸着と誤判定する頻度をほぼゼロとすることができて、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスをほぼ無くすことができる。
この場合、請求項4,8のように、複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別するようにすれば良い。例えば、出力値が最大となる出力層が正常吸着のグループに区分されるものであれば、正常吸着と判定し、出力値が最大となる出力層が異常吸着のグループに区分されるものであれば、異常吸着と判定すれば良い。
以下、本発明を実施するための最良の形態を具体化した2つの実施例1,2を説明する。
本発明の実施例1を図1乃至図13に基づいて説明する。
まず、図1に基づいて電子部品実装機全体の概略構成を説明する。
X軸スライド11は、X軸ボールねじ12によってX軸方向(図1の左右方向)にスライド移動可能に設けられ、このX軸スライド11に対して、Y軸スライド13がY軸ボールねじ14によってY軸方向(図1の紙面垂直方向)にスライド移動可能に設けられている。
Y軸スライド13には、吸着ヘッド15が設けられ、この吸着ヘッド15に昇降可能に設けられた吸着ホルダ16に吸着ノズル17が下向きに取り付けられている。吸着ホルダ16の下面には、吸着ノズル17に吸着した部品18の背景を明るくするためのバックライト19が設けられている。
X軸スライド11には、吸着ノズル17に吸着した部品18をその下面側から一対の反射鏡20,21を介して撮像するCCDカメラ等のカメラ22が下向きに設けられている。このカメラ22で撮像した部品画像によって、吸着ノズル17に対する部品18の吸着位置のずれを補正するようにしている。
一方の反射鏡20は、吸着ノズル17に吸着した部品18の下方に位置するように設けられ、この反射鏡20の下方には、吸着ノズル17に吸着した部品18をその下面側から照明するためのフロントライト23が設けられている。この反射鏡20は、フロントライト23の光を上方に透過させるようにハーフミラー処理が施されている。
この電子部品実装機の制御装置(図示せず)は、吸着ノズル17に吸着した部品18をその下面側からカメラ22で撮像し、画像処理技術によって該部品18の吸着姿勢が“正常吸着”か“異常吸着”かを判別する。以下、この吸着姿勢の判別方法を詳しく説明する。
本実施例1では、出力層の数を1とした3階層型ニューラルネットワークを用いて部品18の吸着姿勢を次のようにして判別する。
図2に示すように、カメラ22で撮像した画像中の部品の位置と角度を検出して、角度補正・位置補正を施し、部品部分のみを例えば32×24[画素]のサイズで切り出した8bitグレースケール画像を部品画像データとして用いる。以下に説明する判別試験で教師データとテストデータとして使用した部品画像の一部が図3〜図6に示されている。
図3は正常吸着の画像例を示している。
図4は左斜め吸着の画像例を示している。左斜め吸着は、部品の左電極側面が見えている吸着状態であり、これも異常吸着の一種である。
図5は右斜め吸着の画像例を示している。右斜め吸着は、部品の右電極側面が見えている吸着状態であり、異常吸着の一種である。
図6は横吸着の画像例を示している。横吸着は、部品の本来の側面が下向きに見えている吸着状態であり、これも異常吸着の一種である。
本例で使用した異常吸着の画像は、従来の外形サイズによる検出方法では異常吸着を全く検出できなかったものばかりである。
図7に示すように、本例で使用した部品画像の枚数は、正常吸着画像が3657枚、異常吸着画像が6644枚(内訳は、左斜め吸着画像が3268枚、右斜め吸着画像が3332枚、横吸着画像が44枚)、合計10301枚である。これらの画像の中から、正常吸着画像を377枚、異常吸着画像を753枚(内訳は、左斜め吸着画像が368枚、右斜め吸着画像が362枚、横吸着画像が23枚)だけ選択して、合計1130枚の画像を教師データとして用いる。残りの画像は、テストデータとしてニューラルネットワークの性能評価に用いる。
本実施例1では、図8に示す3階層型ニューラルネットワークを使用する。
この3階層型ニューラルネットワークは、入力層のニューロン数を32×24、中間層のニューロン数を128、出力層の数を1つとしている。出力層の出力値が“1.0”に近いほど“正常吸着”を示し、“0.0”に近いほど“異常吸着”を示している。
学習方法は、バックプロパゲーション法を用いた。学習に際して、ニューラルネットワークのパラメータを、学習係数α=0.9、バイアス更新係数β=0.7と設定した。シグモイド関数の傾きはU0=5.0を用いた。
バックプロパゲーション法による学習は、図9の(a)に示すように、同じ教師データをN回繰り返して学習させた後、次の教師データを学習させる。また、学習を行う教師データの順序は、学習の度にランダムに入れ替える。本例では、繰り返し回数N=10とした。
それぞれの教師データを学習させる際には、図9の(b)に示すように、画像を平行・回転移動させて誤差を加える。また、図9の(c)に示すように、1つの教師データに対して、水平方向に反転した画像と、垂直方向に反転した画像と、水平・垂直方向に反転した画像も同時に学習させる。
以上説明した3階層型ニューラルネットワークによる教師データの学習は、電子部品実装機の制御装置によって図10の学習プログラムに従って実行される。図10の学習プログラムは、電子部品実装作業を行う前に実行される。本プログラムが起動されると、まずステップ101で、図3に示すような正常吸着の部品画像と図4、図5、図6に示すような異常吸着(左斜め吸着、右斜め吸着、横吸着)の部品画像をそれぞれ多数収集する。
この後、ステップ102に進み、画像中の部品の位置・角度を検出した後、ステップ103に進み、xy座標に合わせて、画像中の部品の位置・角度を修正して、x軸とy軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを32×24[画素]のサイズで切り出す。この際、x軸を部品の長手方向に設定し、部品の両端部の電極がy軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
そして、次のステップ104で、正常吸着画像と異常吸着画像の中からそれぞれ所定数の画像を選択して教師データを作成する。この後、ステップ105に進み、教師データを図8のニューラルネットワークに入力して正常吸着画像と異常吸着画像を学習する。
この後、ステップ106に進み、学習回数が所定回数以上になったか否かを判定し、学習回数が所定回数未満であれば、上記ステップ105に戻り、ニューラルネットワークの学習を繰り返す。これにより、学習回数が所定回数以上になるまで、ニューラルネットワークの学習を繰り返す。学習回数の繰り返し回数(所定回数)は、平均誤り率(図12参照)を目標値以内に収めるのに必要な学習回数に設定すれば良い。
なお、この図10の学習プログラムは、電子部品実装機の制御装置とは別のコンピュータで実行しても良い。
一方、図11の部品吸着姿勢判別プログラムは、上記図10の学習プログラムと共に特許請求の範囲でいう吸着姿勢判別手段としての役割を果たす。本プログラムは、電子部品実装機の稼働中に吸着ノズル17に部品を吸着する毎に起動され、当該部品の吸着姿勢を次のようにして判別する。
本プログラムが起動されると、まずステップ201で、吸着ノズル17に吸着した部品の画像をカメラ22で撮像して取り込む。この後、ステップ202に進み、画像中の部品の位置・角度を検出した後、ステップ203に進み、xy座標に合わせて、画像中の部品の位置・角度を修正して、x軸とy軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを32×24[画素]のサイズで切り出す。この際、x軸を部品の長手方向に設定し、部品の両端部の電極がy軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
そして、次のステップ204で、切り出した画像データを教師データを図8のニューラルネットワークに入力して、次のステップ205で、ニューラルネットワークの出力層の出力値が判定閾値以上であるか否かで、部品の吸着姿勢が正常吸着か異常吸着かを判別する。出力層の出力値は、1.0に近いほど正常吸着を示し、0.0に近いほど異常吸着を示している。
本発明者は、上述した方法で、図7の教師データを用いてニューラルネットワークの学習を行い、図7のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図12に示す。
この判別実験結果を調べると、学習回数が約1500回を越えるあたりから安定して平均誤り率が0.5[%]程度に収まることが判明した。図13に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものが27例あり、逆に、異常吸着のものを正常吸着であると誤判定したものが17例あった。
この判別実験での判別率は、次式で算出され、99.5[%]という高い判別率が得られ、誤り率は0.5[%]であった。
判別率=(3253+5874)/(3280+5891)×100[%]
=99.5[%]
誤り率=100−99.5[%]
=0.5[%]
以上説明した本実施例1によれば、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中にカメラ22で撮像した部品の画像データをニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたので、部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。しかも、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる利点がある。
上記実施例1において、正常吸着のものを異常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに正常吸着であるものが含まれていることが判明した。逆に、異常吸着のものを正常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに異常吸着であるものが含まれていることが判明した。この原因は、異常吸着には何種類かのパターンがあるにも拘らず、それらをまとめて1つの“異常吸着”というパターンに分類しているため、ニューラルネットワーク内に少なからず混乱が生じてしまっているからではないかと推測される。
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図4、図5、図6に示すように、大別して3つのパターン(右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着)に分類できることが判明した。
そこで、本発明の実施例2では、図14及び図15に示すように、異常吸着のパターンを、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の3つのパターンに区分し、それによって、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を設けるようにしている。
本実施例2では、図14に示す3階層型ニューラルネットワークを使用し、入力層のニューロン数を32×24、中間層のニューロン数を128、出力層の数を4とすると共に、4つの出力層1〜4の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別する。
この場合、図15に示すように、出力層1が正常吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層2が左斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層3が右斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層4が横吸着の教師データと入力データとの類似度に応じた数値を出力する。学習方法はバックプロパゲーション法を用い、前記実施例1と同様の方法で学習した。
例えば、出力層1の出力値が他の出力層2〜4の出力値よりも大きければ、“正常吸着”と判定し、出力層2〜4のいずれかの出力値が出力層1の出力値よりも大きければ、“異常吸着”と判定する。これを具体例で説明すると、
出力層1(正常吸着)の出力値 =0.3
出力層2(左斜め吸着)の出力値=0.8
出力層3(右斜め吸着)の出力値=0.1
出力層4(横吸着)の出力値 =0.2
という出力が得られた場合、出力層2(左斜め吸着)の出力値(0.8)が最大であり、出力層2(左斜め吸着)の出力値(0.8)が出力層1(正常吸着)の出力値(0.3)よりも大きいため、“異常吸着”と判定される。
本実施例2においても、図7の教師データを用いてニューラルネットワークの学習を行い、図7のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図16に示す。
この判別実験結果から、学習回数が約1200回を越えるあたりから安定して平均誤り率が1.5[%]程度に収まることが判明した。図17に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものは全くなかったが、異常吸着のものを正常吸着であると誤判定したものが134例あった。
この判別実験での判別率と誤り率は次式で算出される。
判別率=(3280+5757)/(3280+5891)×100[%]
=98.5[%]
誤り率=100−98.5[%]
=1.5[%]
出力層の数が1つのニューラルネットワークを用いた前記実施例1の場合、誤り率は、0.5[%]程度であったが、本実施例2では、ニューラルネットワークの出力層の数を4つに増やすことで、誤り率が1.5[%]程度に上昇した。しかしながら、正常吸着の画像を異常吸着であると誤判別する例が全く無くなった。
このように、本実施例2では、誤判別した画像は、全て異常吸着のものを正常吸着と誤判別したものばかりである。これらの誤判別画像を観察すると、誤判別画像の中には、その部品を回路基板に実装しても、実装精度上、実質的に問題のない吸着状態のものが多く含まれていることが判明した。従って、実質的な誤判別率はもっと低くなると思われる。よって、本実施例2のように、ニューラルネットワークの出力層の数を“正常吸着”、“左斜め吸着”、“右斜め吸着”、“横吸着”の4つに増やすことによって、性能のよい部品異常吸着判別器を構成できる。
ところで、正常吸着のものを異常吸着と誤判定すると、部品のロス及び電子部品実装機の停止によりサイクルタイムロスにつながるので、正常吸着のものを異常吸着と誤判定する頻度をできる限り低下させることが望ましい。これに対し、異常吸着のものを正常吸着と誤判別する例は、先述したように、実装上、実質的に問題にならない場合が多く含まれるため、明らかな誤判定でなければ許容できる。
本実施例2のように、異常吸着のパターンが大別して3つのパターンに区分されることを考慮して、ニューラルネットワークの出力層の数を4つに増やすことで、ニューラルネットワーク内部の矛盾が解消され、結果として、正常吸着のものを異常吸着と誤判別する例が無くなり、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスを無くすことができる。
人間が斜め吸着の画像を見た場合、画像中でどこか「異常である」と判定するに至る特徴的な部分があると考えられる。前記実施例1のように、出力層が1つのニューラルネットワークで構成した場合、異常吸着と判定する画像領域が非常に広範囲にわたるのではないかと推測される。
一方、本実施例2のように、出力層を4つにして異常吸着の判別パターンを増やした場合、左斜め吸着の場合は左側の電極部分の画像領域に対して反応し、逆に、右斜め吸着の場合は右側の電極部分の画像領域に対して反応し、横吸着の場合は、部品上下の画像領域に反応するといった具合に、問題をより簡単な問題の集合と考えることによって、より安定した判別器を構成することが可能となる。
前記実施例1のように、出力層が1つの場合は、右側電極部分、左側電極部分、部品上下領域を総合的に見て判定するので、正常吸着の場合でも、部品が少しずつ異なっていると、累積的に異常吸着と誤判別されることがあるのではないかと推測される。
なお、出力層の数は、1又は4に限定されず、それ以外の数であっても良い。
その他、本発明は、図1に示すような構成の電子部品実装機に限定されず、様々な構成の電子部品実装機に適用して実施できる。
本発明の実施例1,2で使用する電子部品実装機の構成を示す縦断面図である。 カメラで撮像した画像から32×24[画素]の部品画像を切り出す処理を説明する図である。 正常吸着の画像例を示す図である。 左斜め吸着の画像例を示す図である。 右斜め吸着の画像例を示す図である。 横吸着の画像例を示す図である。 正常吸着と正常吸着(左斜め吸着、右斜め吸着、横吸着)のそれぞれについて教師データの数とテストデータの数を示す図である。 実施例1の3階層型ニューラルネットワークの構造を概略的に示す図である。 ニューラルネットワークの学習方法を説明する図である。 学習プログラムの処理の流れを示すフローチャートである。 部品吸着姿勢判別プログラムの処理の流れを示すフローチャートである。 実施例1において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。 実施例1のニューラルネットワークによる判別実験結果を示す図である。 実施例2の3階層型ニューラルネットワークの構造を概略的に示す図である。 実施例2の3階層型ニューラルネットワークの出力層1〜4の理想的な出力値を示す図である。 実施例2において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。 実施例2のニューラルネットワークによる判別実験結果を示す図である。 従来の部品吸着姿勢識別システムの構成を説明する図であり、(a)は正常吸着を説明する図、(b)は斜め吸着を説明する図である。
符号の説明
11…X軸スライド、13…Y軸スライド、17…吸着ノズル、18…部品、19…バックライト、20,21…反射鏡、22…カメラ、23フロントライト

Claims (8)

  1. 電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別する部品吸着姿勢判別方法において、 予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別方法。
  2. 前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項1に記載の部品吸着姿勢判別方法。
  3. 前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を有することを特徴とする請求項2に記載の部品吸着姿勢判別方法。
  4. 前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項2又は3に部品吸着姿勢判別方法。
  5. 電子部品実装機の吸着ノズルに吸着した部品を撮像するカメラと、このカメラで撮像した部品の画像データを画像処理して当該部品の吸着姿勢が正常吸着か異常吸着かを判別する吸着姿勢判別手段とを備えた部品吸着姿勢判別システムにおいて、
    前記吸着姿勢判別手段は、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別システム。
  6. 前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項5に記載の部品吸着姿勢判別システム。
  7. 前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を有することを特徴とする請求項6に記載の部品吸着姿勢判別システム。
  8. 前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項6又は7に記載の部品吸着姿勢判別システム。
JP2006315102A 2006-11-22 2006-11-22 部品吸着姿勢判別方法及び部品吸着姿勢判別システム Active JP4514230B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006315102A JP4514230B2 (ja) 2006-11-22 2006-11-22 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006315102A JP4514230B2 (ja) 2006-11-22 2006-11-22 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Publications (2)

Publication Number Publication Date
JP2008130865A true JP2008130865A (ja) 2008-06-05
JP4514230B2 JP4514230B2 (ja) 2010-07-28

Family

ID=39556388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006315102A Active JP4514230B2 (ja) 2006-11-22 2006-11-22 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Country Status (1)

Country Link
JP (1) JP4514230B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017506324A (ja) * 2013-12-12 2017-03-02 エムイーエス メディカル エレクトロニック システムズ リミテッド 家庭用検査装置
WO2018146825A1 (ja) * 2017-02-13 2018-08-16 オムロン株式会社 状態判定装置、学習装置、状態判定方法及びプログラム
WO2018216075A1 (ja) * 2017-05-22 2018-11-29 株式会社Fuji 画像処理装置、多重通信システム及び画像処理方法
JP2019110257A (ja) * 2017-12-20 2019-07-04 ヤマハ発動機株式会社 部品実装システム
WO2019155593A1 (ja) 2018-02-09 2019-08-15 株式会社Fuji 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
JP2019169010A (ja) * 2018-03-24 2019-10-03 株式会社ダイシン 搬送物の判定装置及びこれを用いた搬送システム
JP2020060398A (ja) * 2018-10-05 2020-04-16 オムロン株式会社 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084588A1 (ja) * 2022-10-18 2024-04-25 ヤマハ発動機株式会社 部品実装システムおよび部品実装方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772094A (ja) * 1993-09-02 1995-03-17 Sanyo Electric Co Ltd ハンダ付け検査装置
JPH117536A (ja) * 1997-04-25 1999-01-12 Fuji Electric Co Ltd ニューラルネットワークを用いた画像認識装置、画像認識方法、及び変換装置
JP2000307298A (ja) * 1999-04-22 2000-11-02 Sony Corp 部品装着方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772094A (ja) * 1993-09-02 1995-03-17 Sanyo Electric Co Ltd ハンダ付け検査装置
JPH117536A (ja) * 1997-04-25 1999-01-12 Fuji Electric Co Ltd ニューラルネットワークを用いた画像認識装置、画像認識方法、及び変換装置
JP2000307298A (ja) * 1999-04-22 2000-11-02 Sony Corp 部品装着方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017506324A (ja) * 2013-12-12 2017-03-02 エムイーエス メディカル エレクトロニック システムズ リミテッド 家庭用検査装置
WO2018146825A1 (ja) * 2017-02-13 2018-08-16 オムロン株式会社 状態判定装置、学習装置、状態判定方法及びプログラム
JP2018132329A (ja) * 2017-02-13 2018-08-23 オムロン株式会社 状態判定装置、学習装置、状態判定方法及びプログラム
JPWO2018216075A1 (ja) * 2017-05-22 2019-12-12 株式会社Fuji 画像処理装置、多重通信システム及び画像処理方法
WO2018216075A1 (ja) * 2017-05-22 2018-11-29 株式会社Fuji 画像処理装置、多重通信システム及び画像処理方法
JP2019110257A (ja) * 2017-12-20 2019-07-04 ヤマハ発動機株式会社 部品実装システム
CN111656883A (zh) * 2018-02-09 2020-09-11 株式会社富士 元件图像识别用学习完成模型生成系统及元件图像识别用学习完成模型生成方法
WO2019155593A1 (ja) 2018-02-09 2019-08-15 株式会社Fuji 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
JPWO2019155593A1 (ja) * 2018-02-09 2020-10-22 株式会社Fuji 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
CN111656883B (zh) * 2018-02-09 2021-07-30 株式会社富士 元件图像识别用学习完成模型生成系统及方法
US11386546B2 (en) 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP2019169010A (ja) * 2018-03-24 2019-10-03 株式会社ダイシン 搬送物の判定装置及びこれを用いた搬送システム
JP2020060398A (ja) * 2018-10-05 2020-04-16 オムロン株式会社 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP7070308B2 (ja) 2018-10-05 2022-05-18 オムロン株式会社 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム

Also Published As

Publication number Publication date
JP4514230B2 (ja) 2010-07-28

Similar Documents

Publication Publication Date Title
JP4514230B2 (ja) 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
CN107734955B (zh) 表面安装线的检查装置、品质管理系统以及记录介质
US10489900B2 (en) Inspection apparatus, inspection method, and program
EP3499418B1 (en) Information processing apparatus, identification system, setting method, and program
CN111656883B (zh) 元件图像识别用学习完成模型生成系统及方法
JP6955211B2 (ja) 識別装置、識別方法及びプログラム
CN108353534B (zh) 引脚前端位置图像识别方法及引脚前端位置图像识别系统
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
US20210072734A1 (en) Information processing apparatus and method, robot controlling apparatus and method, and non-transitory computer-readable storage medium
KR20140146137A (ko) 화상 처리 시스템, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
EP1760669A1 (en) Coin detecting apparatus
US20020051570A1 (en) Apparatus and method of determining image processing parameter, and recording medium recording a program for the same
JP5158686B2 (ja) 吸着部品表裏判定装置及び吸着部品表裏判定方法
JP2009076633A (ja) 基板処理装置、表面実装機、印刷機、検査機、及び塗布機
JPH08254501A (ja) 外観検査方法及び装置
TWI432766B (zh) 光源辨識裝置、光源辨識方法以及光學追蹤裝置
JP2000275028A (ja) 半田付け状態の検査方法
JP4683429B2 (ja) 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
KR20220118140A (ko) 딥러닝 기반 사출물 품질 검사 시스템
JP4744234B2 (ja) 部品の位置決め方法及び装置
JP2021056004A (ja) 画像判定装置及び画像判定方法
CN114174812A (zh) 用于具有光学检验的工艺监测的方法
JP4565465B2 (ja) 部品吸着姿勢識別方法及び部品吸着姿勢識別システム
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法
JP2011205172A (ja) 撮影画像における物体座標の対応付け方法、対応付け装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100413

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

R150 Certificate of patent or registration of utility model

Ref document number: 4514230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250