JP2004363262A - 電子部品実装機の撮像画像処理装置及び撮像画像処理方法 - Google Patents

Abstract

【課題】既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせる。
【解決手段】予め、吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分をカメラで撮像し、その撮像画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいてマスク処理値を設定して記憶手段に記憶しておく。そして、吸着ノズルの部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かで該吸着ノズルの吸着部品の有無を判定する。尚、判定ピクセル数は、吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定すれば良い。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出するようにした電子部品実装機の撮像画像処理装置及び撮像画像処理方法に関するものである。
【０００２】
【従来の技術】
一般に、電子部品実装機は、吸着ノズルにおける電子部品の吸着異常を検出する機能を備えている。電子部品の吸着異常の態様には、例えば、不良部品の吸着、異なる部品の吸着、部品の立ち吸着、吸着ミスによる吸着部品無しがある。吸着ノズルに吸着した電子部品をカメラで撮像する場合は、カメラの撮像画像から取り込んだ吸着部品の外観情報に基づいて不良部品や異なる部品を検出するようにしているが、従来の画像処理技術では撮像画像から吸着部品無しの状態を認識することはできなかった。
【０００３】
そのため、従来は、吸着ノズルの真空吸引系に真空センサを設けて、吸着ノズルの部品吸着動作後の真空度を真空センサで検出して、その真空度によって吸着部品の有無を判定するようにしている。
【０００４】
しかしながら、小径の吸着ノズルを使用する場合は、吸着部品有りと吸着部品無しの場合で、真空度の差が小さくなるため、吸着部品の有無を正確に判定できない。また、部品が立ち吸着されている場合は、吸着ノズルの先端から真空漏れが発生することがあるため、部品の立ち吸着を吸着部品無しと誤判定する可能性がある。
【０００５】
このような問題を解決するために、特許文献１（特開２０００−１３６９０４号公報）に記載されているように、吸着ノズルに吸着した電子部品を反射光照明により撮像して電子部品を画像認識し、その結果、吸着異常と認識された場合には、反射光照明を透過光照明に切り換えて、再度、画像認識して、吸着部品の有無を判定するようにしたものがある。
【０００６】
【特許文献１】
特開２０００−１３６９０４号公報（第２頁〜第３頁等）
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特許文献１の電子部品実装機では、反射光照明と透過光照明の２種類の照明装置が必要となるため、照明装置のコストが高くなると共に、照明装置の設置スペースを２箇所に確保する必要があり、照明装置全体の構成が大型化する欠点がある。
【０００８】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる電子部品実装機の撮像画像処理装置及び撮像画像処理方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、予め、吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分をカメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）に基づいてマスク処理値を設定して記憶手段に記憶しておき、吸着ノズルの部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセル（画素）の輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数（反射光照明の場合）又は該マスク処理値以下の輝度のピクセル数（透過光照明の場合）に基づいて該吸着ノズルの吸着部品の有無を判定するようにしたものである。
【００１０】
一般に、カメラ付きの電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル及びその周囲の背景部分を黒色に着色することで、電子部品の画像とそれ以外の背景画像とを区別しやすいようにしている。従って、予め、吸着ノズルに電子部品を吸着していない状態を撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておけば、撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数（反射光照明の場合）又は該マスク処理値以下の輝度のピクセル数（透過光照明の場合）を計数することで、吸着部品の画像の面積（吸着部品の大きさ）に比例するピクセル数を求めることができ、吸着部品の有無を精度良く判定することができる。これにより、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる。
【００１１】
この場合、予め、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにすると良い。このようにすれば、輝度ヒストグラムによってノイズ等を排除することができ、マスク処理値の精度を高めることができる。
【００１２】
更に、輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度を前記マスク処理値として設定するようにすると良い。このようにすれば、撮像画像に写る吸着ノズル及びその周囲の背景部分をマスキングするためのマスク処理値を精度良く設定することができる。
【００１３】
また、吸着部品有りと判断する最小のピクセル数を、吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定するようにすると良い。このようにすれば、吸着ノズルに小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【００１４】
また、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしても良い。つまり、吸着部品の有無を検出する際には、吸着部品の形状を正確に認識する必要はなく、ある程度大雑把に認識できれば良いため、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良い。このため、吸着部品の有無を検出する際の画像処理時に、間引き処理を行うことが可能となり、それによって、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる。
【００１５】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。本発明は、吸着ノズルに吸着した電子部品を撮像するカメラを備えた電子部品実装機であれば、そのシステム構成を問わず、全ての機種に適用できるため、電子部品実装機の機械的構成の説明は省略する。尚、カメラを備えた電子部品実装機の一例は、例えば特開２０００−２９４９９０号公報に記載されている。
【００１６】
本実施形態の電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２（バックプレート等）を黒色に着色している。
【００１７】
次に、撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２をマスキングするためのマスク処理値を設定する方法を説明する。まず、吸着ノズル１１に電子部品を吸着していない状態で該吸着ノズル１１及びその周囲の背景部分１２をカメラで撮像して、吸着部品無し背景画像を取得する。
【００１８】
この後、この吸着部品無し背景画像のピクセル（画素）の輝度の頻度分布を表す輝度ヒストグラムを作成する（図３参照）。この際、吸着部品無し背景画像の全てのピクセルをサンプリングして全てのピクセルに関する輝度ヒストグラムを作成しても良いが、吸着部品無し背景画像のピクセルを１個おきに間引きしてサンプリングすることで、サンプリング数を１／２に減らしても良い。
【００１９】
図３に示すように、輝度ヒストグラムは、横軸（Ｘ軸）の目盛りを輝度０から２５５までの２５６階調（８ビットの場合）とし、縦軸（Ｙ軸）の目盛りを頻度とする。ノイズを除去するために、頻度が例えば５未満を切り捨てる。つまり、頻度が５未満は、頻度０とみなす。輝度ヒストグラムには、２つのピークが出来る。一方のピークは、吸着ノズル１１の周囲の背景部分１２（バックプレート等）の画像によるピークであり、他方のピークは、吸着ノズル１１の画像によるピークである。
【００２０】
そして、輝度ヒストグラムの２つのピークのうち輝度が大きい方のピークを検索する。この際、輝度ヒストグラムが輝度１００以下の領域に分布することを考慮して、例えば、輝度１００から降順に頻度が落ち込むピーク輝度を求める。
【００２１】
この後、求めたピーク輝度から次の二次元多項式の近似式を求める（図３における２点鎖線）。
Ｙ＝ａＸ^２ ＋ｂＸ＋ｃ
Ｙ：頻度
Ｘ：輝度
ａ，ｂ，ｃ：係数
【００２２】
尚、二次元多項式に限定されず、１次元多項式又は３次元以上の多項式でも良い。要は、輝度ヒストグラムの近似式が得られれば良い。本実施形態では、二次元多項式の近似式を用いるものとする。
【００２３】
この後、輝度ヒストグラムの二次元多項式の近似式の曲線が頻度０（Ｙ＝０）の線と交わる輝度Ｘを求め、これをマスク処理値として設定する。このマスク処理値は、画像処理を行うコンピュータの記憶装置（記憶手段）に記憶される。
【００２４】
二次元多項式の近似式の曲線が頻度０の線と交わる輝度Ｘ（マスク処理値）は二次方程式（ａＸ^２ ＋ｂＸ＋ｃ＝０）の解の公式から算出すれば良い。
【００２５】
【数１】

【００２６】
上記解の公式から輝度Ｘを算出する場合、近似式の曲線が頻度０（Ｙ＝０）の線と交わらない場合があるので、二次方程式の判別式（ｂ^２ −４ａｃ）がプラス値であるか否かで、輝度Ｘ（マスク処理値）を算出可能か否かを判定する。もし、判別式（ｂ^２ −４ａｃ）がマイナス値であれば、輝度Ｘを算出不能（解なし）と判断して、マスク処理値の設定エラーとする。
【００２７】
次に、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）の設定方法を説明する。本実施形態では、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）を、吸着ノズル１１で吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定する。以下、これを具体的に説明する。
【００２８】
吸着ノズル１１で吸着可能な最小の電子部品Ａのサイズを、図４に示すように０．６ｍｍ×０．３ｍｍ×０．２５ｍｍとする。正常な吸着状態では、部品Ａの０．６ｍｍ×０．３ｍｍの面が撮像されるが、立ち吸着状態では、部品Ａの最小面（０．３ｍｍ×０．２５ｍｍの面）が撮像される。
【００２９】
１ピクセルの大きさ（ユニット値）が例えば４０μｍの場合の部品Ａの最小面の画像のピクセル数は、縦：０．２５ｍｍ／４０μｍ＝６．２５（ピクセル）であり、横：０．３ｍｍ／４０μｍ＝７．５（ピクセル）である。従って、部品Ａの最小面の画像の総ピクセル数は、６．２５×７．５＝４６．８７５（ピクセル）となる。本実施形態では、部品Ａの最小面の画像のピクセルを１個おきに間引きしてサンプリングするため、部品Ａの最小面の画像の総ピクセル数は、面積で１／４に相当する１２（ピクセル）となる。この１２（ピクセル）が判定ピクセル数となる。この判定ピクセル数は、画像処理を行うコンピュータの記憶装置（記憶手段）に記憶される。
【００３０】
吸着ノズル１１の部品吸着動作後にカメラの撮像画像を１ピクセルおきに間引きしてサンプリングし、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、吸着部品有りと判定し、判定ピクセル数未満であれば、吸着部品無しと判定する。尚、判定ピクセル数は、１ピクセルの大きさ（ユニット値）から求めるので、カメラの分解能の違いによって異なってくる。
【００３１】
以上説明した吸着部品有無の判定は、画像処理を行うコンピュータによって図５のプログラムに従って実行される。本プログラムは、吸着ノズル１１の部品吸着動作後に起動され、まず、ステップ１０１で、カメラの撮像画像を１ピクセルおきに間引きしてサンプリングする。この後、ステップ１０２に進み、サンプリングしたピクセルの中に、マスク処理値以上の輝度のピクセルが存在するか否かを判定し、マスク処理値以上の輝度のピクセルが存在しなければ、ステップ１０８に進み、吸着部品無しと判定する。この場合は、ステップ１０７に進み、再度、吸着ノズル１１の部品吸着動作を繰り返す。
【００３２】
一方、ステップ１０２でマスク処理値以上の輝度のピクセルが存在すると判定された場合は、ステップ１０３に進み、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かを判定する。もし、マスク処理値以上の輝度のピクセル数が判定ピクセル数未満であれば、吸着ノズル１１で吸着可能な最小の電子部品Ａよりも小さいごみ等を撮像したものと判断して、ステップ１０８に進み、吸着部品無しと判定し、再度、吸着ノズル１１の部品吸着動作を繰り返す（ステップ１０７）。
【００３３】
これに対して、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、ステップ１０４に進み、吸着部品有りと判定する。この場合は、ステップ１０５に進み、画像処理による部品認識が正常に行われたか否かを判定し、部品認識が正常に行われなかった場合（例えば不良部品の吸着、異なる部品の吸着の場合）は、ステップ１０９に進み、吸着ノズル１１に吸着されている部品を所定の廃棄場所に廃棄する。
【００３４】
上記ステップ１０５で、部品認識が正常に行われたと判定されれば、ステップ１０６に進み、吸着ノズル１１に吸着されている部品を回路基板の所定位置に実装する。この後、ステップ１０７に進み、吸着ノズル１１に新たな電子部品を吸着する。
【００３５】
以上説明した本実施形態によれば、予め、吸着ノズル１１に電子部品を吸着していない状態で該吸着ノズル１１及びその周囲の背景部分１２をカメラで撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておき、吸着ノズル１１の部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル１１の吸着部品の有無を判定するようにしたので、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズル１１の吸着部品の有無を判定する機能を持たせることができる。
【００３６】
しかも、マスク処理値を設定する際に、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにしたので、輝度ヒストグラムによってノイズ等を排除することができ、撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２をマスキングするためのマスク処理値を精度良く設定することができる。
【００３７】
また、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）を、吸着ノズル１１で吸着可能な最小の電子部品Ａを立ち吸着したときの撮像画像に基づいて設定するようにしたので、吸着ノズル１１に小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【００３８】
また、本実施形態では、吸着部品の有無を検出する際に、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良いということに着目して、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしたので、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる利点もある。
しかしながら、本発明は、間引き処理を行わず、撮像画像の全てのピクセルの輝度をサンプリングするようにしても良いことは言うまでもない。
【００３９】
また、本実施形態では、反射光照明を用いて吸着部品を撮像するようにしたが、透過光照明を用いて吸着部品を撮像するシステムにも本発明を適用することができる。透過光照明を用いる場合は、反射光照明の場合とは反対に、吸着部品の画像が黒色（輝度０）となり、それ以外の部分の輝度が大きくなるため、マスク処理値以下の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル１１の吸着部品の有無を判定するようにすれば良い。
【００４０】
また、本発明による吸着部品有無の判定と真空センサによる吸着部品有無の判定とを併用して、判定精度を更に高めるようにしても良い。
【図面の簡単な説明】
【図１】本発明の一実施形態における吸着ノズルとその周囲の背景部分（バックプレート等）を概略的に示す正面図
【図２】吸着部品無し背景画像を概略的に示す図
【図３】輝度ヒストグラムを示す図
【図４】吸着ノズルで吸着可能な最小の電子部品のサイズを説明する斜視図
【図５】吸着部品有無判定プログラムの処理の流れを示すフローチャート
【符号の説明】
１１…吸着ノズル、１２…背景部分（バックプレート等）。

Claims (9)

1. 吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出する電子部品実装機の撮像画像処理装置において、
   前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）に基づいて予め設定されたマスク処理値を記憶する記憶手段と、
   前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定する吸着部品有無判定手段と
   を備えていることを特徴とする電子部品実装機の撮像画像処理装置。
2. 前記マスク処理値は、前記吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムに基づいて設定されていることを特徴とする請求項１に記載の電子部品実装機の撮像画像処理装置。
3. 前記マスク処理値は、前記輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度に設定されていることを特徴とする請求項２に記載の電子部品実装機の撮像画像処理装置。
4. 前記吸着部品有無判定手段で吸着部品有りと判断する最小のピクセル数は、前記吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定されていることを特徴とする請求項１乃至３のいずれかに記載の電子部品実装機の撮像画像処理装置。
5. 前記吸着部品有無判定手段は、前記カメラの撮像画像のピクセルを間引きしてサンプリングすることを特徴とする請求項１乃至４のいずれかに記載の電子部品実装機の撮像画像処理装置。
6. 吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出する電子部品実装機の撮像画像処理方法において、
   予め、前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）に基づいてマスク処理値を設定して記憶手段に記憶しておき、
   前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定することを特徴とする電子部品実装機の撮像画像処理方法。
7. 予め、前記吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定することを特徴とする請求項６に記載の電子部品実装機の撮像画像処理方法。
8. 前記輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度を前記マスク処理値として設定することを特徴とする請求項７に記載の電子部品実装機の撮像画像処理方法。
9. 吸着部品有りと判断する最小のピクセル数を、前記吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定することを特徴とする請求項６乃至８のいずれかに記載の電子部品実装機の撮像画像処理方法。

Images