JP2007059546A - 部品の位置決め方法及び装置 - Google Patents

Abstract

【課題】電子部品の実装機における部品の位置決めにおいて、取得された部品の画像の画質が劣悪であったり、類似物がある時の認識率を向上させると共に、エラー発生時の判断を容易に行える位置決め方法および装置を提供する。
【解決手段】複数の特徴物を持つ部品の位置決めに際して、部品の辺やコーナーなどの特徴物を認識する順序をユーザが指定し、該ユーザが指定した順序に従って、特徴物を認識し、画像処理する。認識の過程で評価値を算出して当該評価値をユーザへ通知する。
【選択図】図５

Description

本発明は、部品の位置決め方法及び装置に係り、特に、電子部品実装機に用いるのに好適な、撮像された部品の画像を処理して、部品の辺やコーナー等の特徴物から部品を効率良く位置決めすることが可能な、部品の位置決め方法及び装置に関する。

電子部品の実装機では、フィーダから供給される電子部品を吸着ノズルで吸着し、吸着ノズルを回路基板上の所定位置に移動させて電子部品を基板に搭載している。この場合、電子部品は、必ずしも正しい姿勢で吸着されるわけではないので、電子部品を回路基板に搭載する際に、実装直前に画像認識部においてＣＣＤカメラ等の撮像装置で部品の画像データを取得し、画像処理を行なって、吸着中心と部品中心のずれ、並びに、吸着傾きを検出して、部品搭載の位置決めを行ない、精度良く電子部品を実装している。

ここで、従来の部品位置決め装置は、部品形状毎に、それに特化した認識アルゴリズムを備えているため、ユーザが部品の種類を選択し、それに応じた部品データ（部品や、リード、ボール端子、コーナー、辺、マーク等の特徴物のサイズ、位置、個数、検査条件等）を入力すれば、部品を正しく位置決めできるようになっている。

又、ＱＦＰやＢＧＡのような決まりきった形状の定型部品ではない異形部品についても、特許文献１で提案されているように、部品の特徴物を複数組合せて１つの部品の位置決めデータを定義することができ、正しく部品を位置決めできる。

この時、部品を定義する特徴物を、どの順番で認識するかという情報は、個々の認識アルゴリズム内に組み込まれており、部品の認識処理を行なう際に、ユーザが、これを意識する必要は無かった。

特開２００１−２０９７９２号公報

しかしながら、従来の部品位置決め装置のように、部品の特徴物の認識順序が固定され、ユーザが指定できないと、次のような問題点があった。

（１）認識エラーや誤認識の発生
図１（Ａ）に示す如く、例えば部品１０の４辺のリード端子１１Ａ〜１１Ｄの内、特定端子１１Ａだけ材質が異なり、映りが暗くなる等の事情で特徴物の映りが不鮮明の場合や、図１（Ｂ）に示す如く、部品１０のボディに印刷されたマーク１２や配線１４の飛び出し等によるノイズの映り込みが多い場合等に認識エラーが発生したり、図１（Ｃ）に示す如く、特徴物（端子１１Ａ）と類似した形状（類似物とも称する）１６が同一ピッチで隣接している場合に、特徴物と類似物とを正しく判断することができず、認識が安定しなかったりする。

これは、実装機における部品の位置決め機能では、余分なタクトを避けるため、部品の認識途中でエラーが発生した場合は、その時点で図２（Ａ）に示す如くエラー終了するからである。そのため、最初に認識しようとする特徴物の画質が、図１（Ａ）、（Ｂ）に示すように劣悪であったり、図１（Ｃ）に示すように紛らわしい形状である場合には、この特徴物の認識が正常に行なえず、結果として部品の位置決めに失敗するという現象が発生し易い。

この場合、図２（Ｂ）に示す如く、画質が劣悪であったり、紛らわしい形状の特徴物の認識順を後回しにすることができれば、正しく認識できた他の特徴物の位置情報等を用いて、正しく位置決めできる可能性もある。

しかしながら、図１のような画質の悪さ、類似形状の有無等の情報は、ユーザの指定した部品データから部品位置決め装置が事前に判断するのは難しいため、内部の認識アルゴリズムの強化だけでは対応し切れなかった。

（２）エラー原因の特定のし難さ
又、部品位置決め装置は、認識エラーが発生した際に、エラーを発生させた特徴物やエラー原因を出力する機能を備えている。しかしながら認識エラーが発生した直接原因が真のエラー原因とは限らない場合が多々ある。ユーザレベルで真のエラー原因を見極め、これを取り除くためには、エラーに至った認識処理の過程や、検出処理が正常に行なえない要因をユーザ自身が把握できている必要がある。

従来の部品位置決め装置のように、部品の特徴物の認識順序が固定で行なっている場合、ユーザには、どの順番で部品の特徴物を認識しているか分からないため、エラー時に認識処理過程がどうなっているのか把握できなかった。また従来の部品位置決め装置にはエラーになり易い要因をユーザに通知する機能がなかったため、ユーザは具体的なエラー要因を把握することができなかった。

請求項１の発明は、複数の特徴物を持つ部品の位置決め方法において、特徴物を認識する順序をユーザが指定し、該ユーザが指定した順序に従って、特徴物を認識し、画像処理するようして、前記課題（１）を解決したものである。

請求項２の発明は、ユーザが認識順を指定できない場合に、認識処理と同一のアルゴリズムで事前に個々の特徴物グループを認識実行させた際の認識状態、類似物の存在有無、特徴物濃度、背景濃度、ノイズ成分の有無、認識速度から評価値を算出し、該評価値の高い順に従って認識順を割り振ることで最適な認識順序を取得し、この最適な認識順序で部品データを作成し、最適な認識順序で部品認識するようにして、最適な認識順が分からないユーザでも効率良く部品認識できるようにしたものである。又、前記手段により得られた最適な認識順序と各項目の評価値をユーザに通知するようにして、前記課題（２）を解決したものである。

請求項３の発明は、前記ユーザの指定した認識順序が実際には認識し難いものであった場合には、前記最適認識順の取得方法によって自動的に認識順を取得し、以降の認識時に反映させるようにして、前記課題（１）を解決したものである。

請求項４の発明は、複数の特徴物を持つ部品の位置決め装置において、特徴物を認識する順序をユーザが指定する手段と、該ユーザが指定した順序に従って、特徴物を認識し、画像処理する手段と、を備えたことを特徴とする部品の位置決め装置を提供するものである。

請求項１及び３の発明によれば、ユーザレベルで部品の特徴物の認識順を指定できるので、（１）ノイズ、映りの不鮮明さ、特徴物位置やサイズのばらつき等による認識し辛さ、類似物による誤検出の可能性等、ユーザしか把握できないような情報を反映させた部品データを作成してもらうことができ、認識し難い特徴物の認識順序を下げることで、認識率を向上させることができる。又、（２）エラーが発生した際に、どの順序で何を認識した際にエラーが発生したかを、ユーザ自身が判断することができる。更に、（３）エラーが発生した際は、エラー原因に沿った特徴物グループの認識順序を下げれば部品認識が可能になることがあるが、これをユーザが判断して操作することが可能となる。

又、請求項２の最適認識順序取得機能を用いることで、認識処理と同一のアルゴリズムで事前に個々に特徴物グループを認識実行させた際の認識状態（正常か異常か）、類似物の存在有無、特徴物濃度、背景濃度、認識時間から最適な認識順序を取得することができるので、短時間で認識率の面でもタクト面でも最適な部品認識データを作成することができる。様々な形状の部品でこの最適認識順取得機能を用いることでユーザ自身が部品認識装置の得手、不得手（認識が不安定になる要因）を習得することができ、結果的にこの機能に頼らなくても最適な認識順を独自に判断することができ、請求項１の機能を用いることができるようになる。

又、請求項３によれば、ユーザの設定した認識順では認識し難い場合には自動的に最適な認識順序に変更することができるため、仮にユーザが最適だと判断した認識順序と実際の最適な認識順序が一致しない場合でも正しく認識ができるようになる。

常に新しい形状の部品が流通する中、いかに早く新形状の部品を実装可能にできるかが基板製造の時間を大きく左右する。こういった意味では、請求項２にある最適認識順序の取得機能はユーザの操作効率を上げるだけでなく、画像処理の癖の習得に役立ち、請求項１の認識順の直接指定機能を使いこなせるようになるため、更なる効率化につながる。しかも請求項３にあるようにユーザが指定した認識順では認識し難い場合でも自動的に最適な認識順に置換されるので、出戻り作業が発生せず効率的な生産を行なうことができる。

以下図面を参照して、本発明の実施形態を詳細に説明する。

図３に、本発明を実施するための電子部品位置検出装置の実施形態を示す。

図３において、１０は電子部品、２８は、該電子部品１０を吸着するための吸着ノズル、３０は、多数の照明ランプを備えた照明装置３２、レンズ３４、例えばＣＣＤカメラでなる撮像装置３６を含む部品検出部、４０は、ＣＰＵ４２、Ａ／Ｄコンバータ４４、部品データ格納メモリ４６、画像メモリ４８、エラー画像メモリ５０を含む画像処理装置、６０は、入力画像や処理画像を表示するためのモニタである。

以下動作を説明する。

ユーザは、認識させたい部品１０のデータを、実装機本体へ入力する。このときユーザは、部品１０の特徴物の認識順序を指定することができる。

例えば、図４のような部品１０（ここでは、ＱＦＰ、ＢＧＡ等の定形部品ではなく、いわゆる異形部品の例を示す）に、上辺リード列Ｌ０、左下コーナーＣ１、右下コーナーＣ２を認識させ、部品１０の位置決めを行ないたいとする。このとき、ユーザは、Ｃ２コーナーの内側にマーク１２が印刷されていること、又、それ故に部品１０を撮像した際にＣ２コーナー内部が暗く映ること、そして、画質が悪い場合は認識率が悪いことを把握していることが多い。従って、この場合は、Ｃ２コーナーを一番最後に認識するような認識順序を定義して、部品データを作成することができる。

部品データを受信した実装機本体は、これを前記画像処理装置４０へ送信する。画像処理装置４０は、受信データの整合性を検査し、認識順序が指定されている場合は、ユーザの指定してきた認識順序で各特徴物データをリンクし、部品データ格納メモリ４６へ格納する。

例えば、図４の部品で、ユーザがＬ０、Ｃ１、Ｃ２の順序で認識を行なうように定義した場合は、図５に示すようなリンク構造で管理することができる。ここで、図５の特徴物グループ情報と特徴物情報は、それぞれ特許文献１で提案したエレメントグループ情報、エレメント情報に相当するもので、詳細な説明は省略する。

部品の認識処理は、実装機本体が、画像処理装置４０に対して、認識実行コマンドを送信してくると始まる。該認識実行コマンドには、部品ＩＤ、部品種別（ＱＦＰ、ＢＧＡ、異形部品等）、カメラチャンネル等の情報が含まれる。

画像処理装置４０は、指定チャンネルのカメラ３６で部品１０を撮像し、その画像を画像メモリ４８へ格納する。又、部品データ格納メモリ４６から、該当する部品データを取り出し、認識実行ルーチンへ渡す。

ここで、図４のような異形部品で認識順序が指定されている場合の認識処理手順を図６に示す。図５に示した如く部品データにリンクされている順序で認識を行ない、全ての特徴物の認識が完了したら、部品中心や傾きを算出する。画像処理装置４０は、この部品中心や傾きを実装機本体へ送信して、認識処理を終了する。

本発明のように認識順序をユーザが指定できる機能は、慣れたユーザにとっては操作性、機能性共に向上するが、不慣れなユーザや、面倒な設定を敬遠するユーザには、逆に使いこなすのが面倒な機能になる。

そこで、部品認識のテスト機能として、最適認識順取得機能を設けることができる。これは、ユーザが指定した部品データでは、どの順序で特徴物グループを認識すれば良いかを画像処理装置４０が判断し、この認識順序を実際の認識処理に反映させるために、部品データを、その認識順のリンク構造に書き換える機能である。

この機能は以下の２つのタイミングで動作する。１つ目として、通常の部品認識と同様に、画像処理装置４０に部品データを送信し、その後に最適認識順取得コマンドを送信することで動作する。この時ユーザは、部品データで認識順を指定する必要は無いが、ある特徴物グループだけの順序を部分的に指定することは可能である。最適認識順取得コマンドには、認識実行コマンドと同様に、部品ＩＤ、部品種別、カメラチャンネル等の情報が含まれ、その他に、実行回数や動作モード（自動取得した最適認識順を単にユーザに通知するだけか、ユーザに通知した上で、実際の部品認識に反映させるかを選択）を指定することができる。

前記画像処理装置４０は、最適認識順通知コマンドを受信すると、最適な認識順を取得し、これを部品データ構造に反映させる。又、この結果は、ユーザに通知される。

この最適認識順取得コマンドは、撮影済みの画像に対しても実行可能である。例えば、認識中にエラーが発生した場合、エラー画像をエラー画像メモリ５０に保存しておき、例えばエラーが頻発するようになった場合は、このエラー画像に対して最適認識順取得機能を動作させることも可能である。

２つ目として、ユーザが認識順を指定した部品データを画像処理装置に送信後、第１回目の認識がエラーになった場合に、そのエラー画像を用いて自動で動作する。初回での認識エラーが発生した場合、認識順序指定が正しくなかったことが考えられる。そこで最適認識順取得機能を用いて正しい認識順序を取得し、以降の認識時には自動で取得した認識順序が有効になるように変更する。但し、この処理が不要な場合は部品データで動作しない設定にすることができる。

又、位置決めアルゴリズムによっては、ユーザの指令通りに認識を実行すると、認識処理に余分な時間がかかったり、認識エラーが発生してしまう可能性がある。そのため、本実施形態では、ユーザが指定してきた順序を、自動的に修正する機能も備えている。

即ち、図７に例示するように、同一の特徴物グループが複数定義されている場合に、個々の特徴物グループ単位で認識を行なおうとすると、認識エラーになってしまう場合がある。例えば、図７に示す部品１０のリード端子の認識順を、ユーザがＬ０、Ｌ１、Ｌ２の順で定義したとする。この場合、最初に認識指定されたＬ０の両隣りには、別グループのリード端子Ｌ１、Ｌ２が隣接している。ここで、リード検出処理に、特開２０００−２３２２９９号公報で提案されている電極検出アルゴリズムを用いるとすると、検出しようとするリードグループの左右どちらか一方に十分な背景が存在する必要がある。つまり、検出アルゴリズム上、Ｌ０を一番最初に認識することができない場合が存在してしまう。この場合に、二番目に指定されているＬ１を先に検出するように変更する。すると、Ｌ１を検出した結果を用いてＬ０を予測位置決めできるようになり、部品の位置決めを正しく行なうことができるようになる。

このような検出アルゴリズム上の都合による認識順序の制約は、検出アルゴリズムの改良と共に変化する。即ち、同じ部品データをユーザが指定しても、プログラムのバージョンにより最適な補正方法が異なる場合があるため、この認識順自動補正機能で補正された認識順序をユーザに通知する必要はない。

次に、前記最適認識順取得機能は、図８に示すような手順に従って実行される。

即ち、まずステップ１００で、該当する部品データを取り出す。

次にステップ１０２で、撮像装置３６により部品１０を撮像し、その画像を画像メモリ４８に格納する。

次いでステップ１０４で、個々の特徴物グループ単独で認識させる。これは、グループ間の位置関係に頼らずに認識できるかどうかの判断を行なうためのものなので、認識対象の特徴物グループ以外に、どのような特徴物グループがどこに存在しているかという情報は全く用いずに認識させる。このとき用いる認識アルゴリズムは、部品認識時に用いるものと同じである。

ステップ１０６で正常に特徴物を検出できたと判断されたときは、ステップ１０８に進み、検出した特徴物の周辺に、検出したい特徴物と同じような形状を持つ類似物があるかどうかを確認する。類似形状を持つ状態とは、例えば図９に示すような状態のことである。これも認識処理と同様のアルゴリズムを用いることで実現できる。

以上の認識や類似物の存在有無の結果を踏まえて、ステップ１１０で、特徴物グループの認識し易さを判定する。認識し易さは、周辺に類似物が存在するかどうか、特徴物や背景の濃度状態、ノイズの有無、認識速度のそれぞれについて評価し、図１０に示す如く点数化する。

ここで、類似物の有無は、図９（Ａ）〜（Ｃ）に示した如く、類似物が近くに存在する程、該検出の危険性が高いため、認識し難いと判断する。他にも、例えば図９（Ｄ）〜（Ｇ）のような形状の部品で類似物があると判断する。

又、特徴物濃度は、高い程認識し易いと判断できる。従って、特徴物の平均濃度値を求め、図１１に例示する如く、デフォルトの２値化閾値を基準とした３段階のグループに場合分けすることができる。

又、背景濃度は、低い程認識し易いと判断できる。従って、特徴物グループ周辺の背景の平均濃度を求め、図１２に例示する如く、デフォルトの２値化閾値を基準とした３段階のグループに場合分けすることができる。

又、ノイズの有無は、ノイズが少ない程認識し易いと判断できる。特徴物の形状によっては、検出処理中にノイズの有無を判断することができる場合があるので、この場合は、ノイズの有無を記録する。一方、検出処理中にノイズの有無を判断できない特徴物グループの場合は、ノイズの有無不明とする。

又、認識速度は、認識時間が短い程、認識し易いと判断することができる。従って、個々の特徴物グループの認識毎に認識にかかる時間を測定し、全ての特徴物グループの認識を終えた後で、認識時間が早いものから順に、高い評点を与えていくことができる。

ステップ１１２で全特徴物グループの認識実行を確認後、全てが正常認識した場合は、ステップ１１４で、検出位置の妥当性を検査する。ここでは、検出結果の相互位置関係を調べる。このとき、図１３に示すように、指定されている座標とずれて検出したものがあれば、この特徴物グループは正しく検出できていないので、認識し易さ評価値をゼロに設定し直す。ずれて検出してしまった特徴物グループの周辺に類似物が存在しているかどうかは既に調査済みであり、類似物が近くに存在している場合は類似物の誤検出によるもの、類似物が近くに存在していない場合はユーザの指定座標自体の誤りによるものと判断できる。ここで座標ミスの可能性があると一度でも判断された場合は、最後の結果出力時に、この旨の警告メッセージを付加する。

前出ステップ１０２の撮像からステップ１１４の相互位置検査までの処理は、ステップ１１６で、ユーザが指定した実行回数分繰り返す。

最後に、認識し易さ評価値の高い順に認識を行なえるように、ステップ１１８で部品データ構造を変更する。そして、ステップ１２０でその順番をユーザに通知する。

この時、認識し易さ評価値と、これを算出するために用いた各評価点（類似物の存在有無、特徴物濃度、背景濃度、ノイズの有無、検出時間）もユーザに通知する。このデータを繰り返し取得することによりユーザは特徴物を検出し易い条件や逆に特徴物の検出を妨げる要因を習得し易くなる。

なお、認識順序がユーザにより指定されていない場合は、例えば特許文献１で記載された手法により認識することができる。

又、例示しなかった定形部品も同様に特徴物グループ（例えばＱＦＰ部品の場合、各辺のリード列）毎に認識順を指定することが可能である。認識する際は、認識順により認識位置情報を取得してから認識をするようにすれば、ユーザの指定通りに容易に認識できる。

本実施形態においては、ユーザが指定した認識順序が、認識アルゴリズム上認識し辛かったり、誤検出やエラーになる可能性がある場合は、内部で認識順序や特徴物グループの構成を変更して認識するようにしたので、ユーザは内部の難しい認識アルゴリズムを意識しないで認識順を指定することができる。又、認識順序を外部指定できるようにしたことにより、逆に認識率が低下するのを防止している。

又、どの特徴物から認識すれば良いか判断つかないような部品を認識させたい場合や、判断するのが面倒な場合には、最適認識順取得コマンドを用いて最適な認識順を自動取得することができる。

又、部品認識エラーが発生した際は、エラー画像に対し最適認識順取得コマンドを用いて認識順を変更することで、エラー化を回避することができるようになる場合がある。これにより、ユーザが行なえるエラー対策機能が向上する。

又、最適認識順取得コマンドでは、ユーザが指定した特徴物グループの認識を一通り実行するので、このとき検出した座標の矛盾関係から、ユーザの特徴物座標指定ミスを判断し、ユーザに指摘することができる。

認識エラーや誤認識が発生する部品の例を示す平面図 認識順序による（Ａ）検出失敗例と（Ｂ）検出成功例を比較して示す図 本発明を実施するための電子部品位置検出装置の実施形態を示す、一部斜視図を含むブロック図 前記実施形態における認識に用いた異形部品の例を示す平面図 図４の部品でユーザが定義した順に従って管理されるリンク構造の例を示す図 図４のような異形部品で認識順序が指定されている場合の認識処理の手順を示す流れ図 前記実施形態における認識順序の自動補正機能を説明するための部品の平面図 前記実施形態における最適認識順序取得機能の処理手順を示す流れ図 前記最適認識順序取得機能で用いる類似度を説明するための図 同じく点数化の例を示す図 同じく特徴物濃度の場合分けの例を示す図 同じく背景濃度の場合分けの例を示す図 同じく検出結果の指定が異なる例を示す図

符号の説明

１０…部品
１１Ａ〜１１Ｄ…端子
１２…マーク
１４…配線
１６…類似物
１８…穴
２８…吸着ノズル
３０…部品検出部
３２…照明装置
３４…レンズ
３６…撮像装置
４０…画像処理装置
４２…ＣＰＵ
４６…部品データ格納メモリ
４８…画像メモリ
５０…エラー画像メモリ
５２…モニタ

Claims (4)

1. 複数の特徴物を持つ部品の位置決め方法において、
   特徴物を認識する順序をユーザが指定し、
   該ユーザが指定した順序に従って、特徴物を認識し、画像処理することを特徴とする部品の位置決め方法。
2. 認識処理と同一のアルゴリズムで事前に個々の特徴物グループを認識実行させた際の認識状態、類似物の存在有無、特徴物濃度、背景濃度、ノイズ成分の有無、認識速度から評価値を算出し、該評価値の高い順に従って最適な認識順序を取得する機能と、前記機能により取得した最適な認識順で部品認識する機能と、前記機能により取得した最適な認識順と評価値をユーザへ通知する機能を備えたことを特徴とする請求項１に記載の部品の位置決め方法。
3. 前記ユーザの指定した認識順序が、実際の認識画像では認識し難い場合は、請求項２記載の最適認識順序取得機能を用いて内部で最適な認識順序に変更し、部品の位置決めを行なう機能を備えたことを特徴とする請求項２に記載の部品の位置決め方法。
4. 複数の特徴物を持つ部品の位置決め装置において、
   特徴物を認識する順序をユーザが指定する手段と、
   該ユーザが指定した順序に従って、特徴物を認識し、画像処理する手段と、
   を備えたことを特徴とする部品の位置決め装置。

Images