JP2007058436A

JP2007058436A - 部品の位置決め方法及び装置

Info

Publication number: JP2007058436A
Application number: JP2005241488A
Authority: JP
Inventors: Kimiko Fujie; 公子藤江
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 2005-08-23
Filing date: 2005-08-23
Publication date: 2007-03-08
Anticipated expiration: 2025-08-23
Also published as: JP4681984B2

Abstract

【課題】ユーザ指定の部品中心が外接矩形中心や実際の部品の吸着位置と異なる場合や、部品全体が光らない場合や、想定以上の吸着ずれが発生した場合でも、指定された辺やコーナーを正しく検出できるようにする。
【解決手段】位置決め対象部品の指定された特徴点（辺やコーナー）を全て含む最小矩形を特徴点外接矩形Ｓ０とし、撮像画像の部品像の外接矩形を部品外接矩形Ｓ１とし、特徴点外接矩形Ｓ０と部品外接矩形Ｓ１を用いて、指定された特徴点の存在範囲を絞り込み、この絞り込んだ領域を、特徴点を検出するための探索ウィンドウＷとして画像処理する。
【選択図】図７

Description

本発明は、部品の位置決め方法及び装置に係り、特に、電子部品実装機に用いるのに好適な、撮像された部品の画像を処理して、部品の辺やコーナー等の外形特徴物から部品を位置決めする、部品の位置決め方法及び装置に関する。

電子部品の実装機では、フィーダから供給される電子部品を吸着ノズルで吸着し、吸着ノズルを回路基板上の所定位置に移動させて電子部品を基板に搭載している。この場合、電子部品は、必ずしも正しい姿勢で吸着されるわけではないので、電子部品を回路基板に搭載する際に、実装直前に画像認識部においてＣＣＤカメラ等の撮像装置で部品の画像データを取得し、画像処理を行なって、吸着中心と部品中心のずれ、並びに、吸着傾きを検出して、部品搭載の位置決めを行ない、精度良く電子部品を実装している。

このような電子部品実装機の部品位置決め手法の一つに、部品の辺やコーナー等の外形特徴物を検出して、部品の位置決めを行なうものがある。この部品の外形特徴物による位置決め手法によれば、リードやボール等の電極が存在しない部品でも、位置決めが可能である。

特に、特許文献１で提案されている外形認識手法と、特許文献２で提案されている汎用的な部品特徴物のデータ管理手法を組み合わせることにより、部品の任意の位置に存在する辺やコーナーを検出して、部品の位置決めを行なうことが可能である。

特開２００２−２８８６３４号公報特開２００１−２０９７９２号公報

しかしながら、従来の外形特徴物による部品位置決め手法では、辺やコーナーを検出するための探索ウィンドウの設定位置を誤ると、ユーザの指定した辺やコーナーを正しく検出することができず、正しく位置決めできないという問題点があった。

即ち、従来手法による探索ウィンドウの設定には、（１）外接スキャンによる部品存在位置取得と、（２）座標位置から直接指定、という２つの手法がある。

このうち前者（１）の外接スキャンによる部品存在位置取得法で、例えば図１（Ａ）のような、ユーザが指定した長方形の部品１０の４コーナーＣ０（ｘ_０，ｙ_０）、Ｃ１（ｘ_１，ｙ_１）、Ｃ２（ｘ_２，ｙ_２）、Ｃ３（ｘ_３，ｙ_３）を検出する場合を考える。画像上のどの辺りに部品１０が存在するかを把握するため、部品の外接矩形Ｓ１を求めて、（Ｂ）画像全体を走査し、（Ｃ）部品外接矩形Ｓ１とその中心Ｓ１’を取得する。

（Ｄ）部品外接矩形Ｓ１の中心Ｓ１’と部品の中心が一致していると仮定すれば、指定された辺やコーナーの存在位置を算出できるため、その周辺に探索ウィンドウＷを設定し、（Ｅ）該探索ウィンドウＷ内で辺やコーナーの検出を行なうことで、指定された辺やコーナーを正しく検出できる。

しかしながら、この（１）の方法では、図２に示す如く、（Ａ）ユーザの定義した部品１０の中心１０’と部品外接矩形Ｓ１の中心Ｓ１’が異なる場合、（Ｄ）に示す如く、探索ウィンドウＷがコーナー部に正しく設定されず、辺やコーナーを正しく検出できない。又、図３に示す如く、（Ａ）反射照明等で認識させた時に、部品全体が光らない場合に、（Ｂ）に示す如く、やはり探索ウィンドウＷがコーナー部に正しく設定されないという問題点を有する。

一方、後者（２）の方法では、次のような問題点がある。

即ち、実装機で部品位置決め用の撮像は、部品を吸着しているノズルが画像の中心になるように行なう。ノズルは部品の中心部を吸着するため、画像中心と部品中心はほぼ一致する。吸着時の部品供給状態によって、吸着位置に多少のばらつきがあるものの、大きくずれることは少ない。

そこで、部品吸着ずれ量が、ある一定量以内だと仮定した場合、部品中心と画像中心が一致しているものとして、指定された辺やコーナーの存在位置を算出し、この位置に、想定している吸着ずれ量分を加味して探索ウィンドウを設定することで、指定された辺やコーナーを正しく検出できる。

しかしながら、図４に示す如く、部品１０に穴１２等があるため、ユーザが指定した部品中心１０’に対応する想定吸着位置２０と、実際の吸着位置（画像中心）２２とが異なる場合には、対応できない。この場合には、常に同じ方向にずれる。

又、図５に示す如く、想定以上の吸着ずれが発生した場合にも、やはり対応できない。この場合には、ずれる方向が常に同じとは限らない。

本発明は、前記従来の問題点を解消するべくなされたもので、ユーザが指定した部品中心が外接矩形中心や実際の部品の吸着位置とは異なる場合や、反射照明等で認識させたときに部品全体が光らない場合や、想定以上の吸着ずれが発生した場合にも、辺やコーナーを的確に検出可能とすることを課題とする。

本発明は、位置決め対象部品の指定された特徴点（辺やコーナー）を全て含む最小矩形を特徴点外接矩形とし、撮像画像の部品像の外接矩形を部品外接矩形とし、特徴点外接矩形と部品外接矩形を用いて、指定された特徴点の存在範囲を絞り込み、この絞り込んだ領域を、特徴点を検出するための探索ウィンドウとして画像処理するようにして、前記課題を解決したものである。

又、本発明は、位置決め対象部品の指定された特徴点を全て含む最小矩形を特徴点外接矩形とする手段と、撮像画像の部品像の外接矩形を部品外接矩形とする手段と、前記特徴点外接矩形と部品外接矩形を用いて指定された特徴点の存在範囲を絞り込み、この絞り込んだ領域を、特徴点を検出するための探索ウィンドウとして画像処理する手段と、を備えたことを特徴とする部品位置決め装置により、同じく前記課題を解決したものである。

本発明によれば、指定された全ての特徴点を含む最小矩形と部品撮影画像上の部品外接矩形を用いて、検出した特徴点の存在位置を絞り込むようにしたので、ユーザが指定した部品中心が外接矩形中心や実際の部品吸着位置とは異なる場合や、部品全体が光らない場合や、想定以上の吸着ずれが発生した場合でも、それに追従して探索ウィンドウを設定することができ、特徴点を正しく検出することが可能となる。

以下図面を参照して、本発明の実施形態を詳細に説明する。

図６に、本発明を実施するための電子部品位置検出装置の実施形態を示す。

図６において、１０は電子部品、２８は、該電子部品１０を吸着するための吸着ノズル、３０は、多数の照明ランプを備えた照明装置３２、レンズ３４、例えばＣＣＤカメラでなる撮像装置３６を含む部品検出部、４０は、ＣＰＵ４２、Ａ／Ｄコンバータ４４、部品データ格納メモリ４６、画像メモリ４８、５０を含む画像処理装置、６０は、入力画像や処理画像を表示するためのモニタである。

以下、動作を説明する。

実装機の主制御装置は、認識に先立って、部品データを前記画像処理装置４０に送信する。部品データには、部品ＩＤ、形状やサイズ等の情報が含まれている。本発明のように、コーナーや辺を検出して部品の位置決めを行なう場合は、例えば次の２つの方法で、部品データを記述することができる。

（１）特許文献２に記載されているように、属性を設定した電極（リード、ボール等）や位置決め可能な特徴がある部分（辺、コーナー、マーク等）を最小構成単位要素（以下エレメントと称する）として扱い、このエレメントと、その配置情報等を属性としたエレメント構成要素（以下エレメントグループと称する）を設定し、又、このエレメントグループの集合と部品のサイズ等の部品としての属性情報から、１個の部品を設定する方法。

（２）部品の縦・横寸法と、４方向の中で直線形状である辺若しくはコーナーを指定する簡易的なデータ表現方法。直線が存在する方向と直線と部品中心との位置関係が記述されているデータである。

例えば前記（１）又は（２）の方法で記載された部品データの情報と、実際に検出した画像上の外形特徴位置から、部品の位置決めができる。

図７に、本発明による処理手順を示す。

実装機の主制御装置から部品の認識要求が出されると、ステップ１００で、まず部品の画像の撮像を行なう。続いて、ステップ１０２で、該当する部品データを取得する。認識時は、実装機の主制御装置から部品ＩＤが通知される。部品データは、前記部品データ格納メモリ４６で部品ＩＤ毎に管理されているため、部品ＩＤを用いて該当する部品データを取得することができる。

次いでステップ１０４に進み、取得した部品データから、図８に例示するように、検出指定された全ての辺やコーナーを含む最小領域の矩形（特徴点外接矩形と称する）Ｓ０を取得する。

次に、ステップ１０６で、辺やコーナーを検出するための２値化閾値を取得する。この２値化閾値は、部品データ等で外部指定されるが、指定されていなければ、ステップ１００で撮像した画像から自動的に取得することもできる。自動取得の方法は、一般的な閾値取得手法（ｐ−タイル法や微分ヒストグラム法、判別分析法）を部品形状や撮像条件により使い分けることができる。

次いでステップ１０８で、ステップ１０６で求めた２値化閾値を用いて、画像の４方向からそれぞれスキャンし、図９に示す如く、部品の外接矩形Ｓ１を求める。

次いでステップ１１０に進み、ステップ１０４で求めた特徴点外接矩形Ｓ０とステップ１０８で求めた部品外接矩形Ｓ１から、検出しようとする辺やコーナーの存在位置を算出し、探索ウィンドウＷを設定する。

次いでステップ１１２に進み、例えば特許文献１に記載された方法により、探索ウィンドウＷ内で辺やコーナーの検出処理を実行する。又、特願２００５−２０５１９で提案した手法を用いれば、探索ウィンドウＷ内に指定された辺やコーナーと同一形状の物を全て検出することができる。

即ち、特許文献１に記載されたアルゴリズムでは、探索ウィンドウＷ内で垂直方向と水平方向に部品外側から走査線を順次投射していき、部品の辺を示すエッジ点列（各走査線が部品のエッジと交差する黒丸の点列）を取得する。そして、この取得したエッジ点列について、ハフ変換を用いて最も多くの点が乗る直線を求め、この直線に投票した点列を用いて最小二乗法で直線式を求め直し、直線を検出するが、このような直線検出方法では、一番エッジ取得点の多い辺の直線だけを検出するため、残りの点列で直線が検出できる場合でも１本しか検出できない。このため特願２００５−２０５１９では、直線検出で使用したエッジ点列を除いていき、繰り返しすべての直線を検出するなどの方法を用い、探索ウィンドウＷ内のエッジ点列から生成されるすべての直線を検出するようにしている。

次いでステップ１１４に進み、探索ウィンドウＷ内で辺やコーナーが正常検出できたか否かを判定し、判定結果が正である場合には、ステップ１１６に進み、検出した数と検出位置を記憶しておく。

ステップ１１０における探索ウィンドウＷの設定、ステップ１１２における辺やコーナーの検出処理、ステップ１１６における検出結果の格納処理は、指定されている全ての辺やコーナーに対して行なう。

ステップ１１８で、指定された全ての辺やコーナーの検出を終えたと判定された時点では、各辺やコーナーに複数の候補点が存在することも有り得る。

そこで、ステップ１２０に進み、例えば特願２００５−２０５１９で提案した方法を用いて、指定された辺やコーナーの位置関係から、正しいコーナーを選択する。

即ち、指定された特徴部分の画像位置を予測し、その予測された画像位置に、実際に検出された特徴部分が存在するときに、その検出された特徴部分に基づいて位置検出を行う。従って、予測位置、つまり指定された特徴部分と一致する特徴部分のみを用いて部品認識が行われることから、検索ウィンドウＷ内に複数の類似した特徴部分を検出しても、予測位置と一致しない特徴部分は、部品認識に使用されることはないので、特徴部分の誤検出を防止することができる。また、部品の位置ずれが大きく、検索ウィンドウＷ内に指定した特徴部分が存在しないような場合には、予測位置では、指定した特徴部分は検出できず、検出エラーとなるので、誤った部品認識が行われることを防止することができる。

次いでステップ１２２に進み、検出した辺やコーナーの座標から部品の中心と傾きを算出し、ステップ１２４で、位置決め結果を実装機の主制御装置へ送信する。

前出ステップ１０４における特徴点外接矩形Ｓ０の取得は、具体的には、次のようにして行なう。

即ち、特徴点外接矩形Ｓ０は、図８に例示する如く、部品データで指定されている辺やコーナーを全て含む最小矩形である。このとき、コーナーのサイズや辺の長さは考慮しない。３点以上の辺やコーナーが指定されないと、矩形にはならず、図６（Ｅ）のように、検出指定されている辺やコーナーの数が１個の場合の特徴点外接矩形Ｓ０は点であり、図６（Ｄ）のように、２個の場合は線分となる。

又、前出ステップ１０８における部品外接矩形Ｓ１の取得は、画像の４方向からスキャンして行なう。このとき、図９に示すように、部品外接矩形Ｓ１が画像端に接している場合は、部品が画像からはみ出していると考えられる。このような場合でも、（Ａ）のように、指定されている全ての辺やコーナーが画像上に入っていれば位置決め可能である。

しかし、（Ｂ）のように、指定した辺やコーナーのうち、１つでも画像の外にはみ出してしまっている場合は、正しく部品の位置決めを行なうことができない。そこで、部品外接矩形Ｓ１が画像端に接しており、更に特徴点外接矩形Ｓ０と比較して極端に部品外接矩形Ｓ１の方が小さい場合は、指定された辺やコーナーのどれかが画像からはみ出している可能性が高いため、視野はみ出しエラーとして認識処理を打ち切る。

一方、（Ｃ）に示す如く、部品外接矩形Ｓ１の方が特徴点外接矩形Ｓ０より大きい場合は、エラーと判断できないので、認識処理を続行する。

又、前出ステップ１１０における探索ウィンドウＷの設定は、具体的には次のようにして行なう。

まず、特徴点外接矩形Ｓ０と部品外接矩形Ｓ１の面積の大小関係は、特徴点外接矩形Ｓ０≦部品外接矩形Ｓ１の関係にある（部品形状や吸着時の部品の傾きによっては完全に成り立たない場合もある）。

例えば図１０に示すような部品１０で、コーナーＣ０を検出するための探索ウィンドウＷを設定する場合について考える。

部品外接矩形Ｓ１の何処かに特徴点外接矩形Ｓ０が含まれているはずである。部品データで、コーナーＣ０に対応する特徴点外接矩形Ｓ０上の点Ｐ０が部品外接矩形Ｓ１上に存在し得る範囲は、図１１に示すとおりである。これを矩形Ｓ２とする。ここで、矩形Ｓ２の領域は、部品外接矩形Ｓ１内に部品が正立（傾き０）の状態で存在していることを前提として求めている。しかし、部品が全く傾かない状態で吸着されることはまず無いため、吸着傾き分だけ点Ｐ０の存在し得る範囲を広げる必要がある。ここで、吸着傾きθ（経験値、例えばθ＝１０°）を考慮すると、点Ｐ０が部品外接矩形Ｓ１内に存在し得る範囲は、図１２に示すとおりとなる（これを矩形Ｓ３とする）。ここで、特徴点外接矩形Ｓ０の横の長さをＨ、縦の長さをＶとする。

吸着時の部品傾きがθ未満であれば、矩形Ｓ３内に指定コーナーＣ０が存在するはずである。しかし、コーナーを検出するためには、コーナー部に存在する辺を検出する必要があるため、コーナー部のＲサイズや辺のサイズ分だけ広げる必要がある。これを図１３に示す（これを矩形Ｓ４とする）。そして、この矩形Ｓ４が探索ウィンドウＷとなる。

このような探索ウィンドウ設定方法は、辺やコーナー等の外形特徴物だけの場合に限らず、リード、ボール、マーク等にもそれぞれ有効である。リードの場合の特徴点外接図形Ｓ０と部品外接図形Ｓ１の関係を図１４、探索ウィンドウＷの設定方法を図１５に例示する。

なお、特徴物とは、リード、ボール、コーナー、辺、マーク等の特徴点の総称で、特徴物グループとは、同一の特徴物１つ以上からなる集合のことである。

特徴物情報とは、特徴物の形状に合わせた認識に必要なデータを記述するもので、例えば図１４に示したリードグループＬ０の特徴物情報とは、リード種別（ガルフィングリード、フラットリード等）、リード先端切り欠け形状、リードサイズ（リード幅や長さ）、リードサイズ許容値等である。又、コーナーグループＣ１、Ｃ０の特徴物情報とは、コーナー形状、コーナーサイズ、コーナーＲサイズ等である。

これに対して、特徴物グループ情報は、特徴物が何処にどのように配置するかを記述するデータであり、特徴物の形状によらず、基点特徴物座標、特徴物総数、配置繰り返し情報（縦横ピッチ、縦横配列数）等からなる。

なお、前記実施形態では、特徴点外接矩形Ｓ０を認識処理中に求めたが、同じ部品であれば特徴点外接矩形Ｓ０も同じであるので、部品データ受信時に求めておき、部品データと合わせて管理することもできる。これは、認識処理速度を少しでも速めたい場合に効果がある。しかし、部品データ領域容量にも限りがあるため、メモリ容量を節約したい場合には、前記実施形態の手法の方が良い。

従来の外接スキャンによる部品存在位置取得法を説明するための図図１で示した手法の問題点の一つを説明するための図同じく他の問題点を説明するための図従来の座標位置から探索ウィンドウを直接指定する手法の問題点の一つを説明するための図同じく他の問題点を説明するための図本発明を実施するための電子部品位置検出装置の実施形態を示す、一部斜視図を含むブロック図本発明による処理手順を示す流れ図前記処理手順において、部品データから特徴点外接矩形を取得する様子を示す図同じく部品外接矩形を取得する様子を示す図同じく探索ウィンドウの設定方法を説明するための図同じく特徴点外接矩形上の点が部品外接矩形内で存在し得る範囲を示す図同じく吸着傾きを考慮したときの特徴点外接矩形上の点が部品外接矩形内で存在し得る範囲を示す図同じくコーナー部のＲサイズや辺のサイズ分だけ広げた状態を示す図リードにおける特徴点外接矩形と部品外接矩形の関係の例を示す図同じく探索ウィンドウを求める様子を示す図

符号の説明

１０…部品
３０…部品検出部
３２…照明装置
３６…撮像装置
４０…画像処理装置
４６…部品データ格納メモリ
４８、５０…画像メモリ
６０…モニタ
Ｓ０…特徴点外接矩形
Ｓ１…部品外接矩形
Ｗ…探索ウィンドウ

Claims

位置決め対象部品の指定された特徴点を全て含む最小矩形を特徴点外接矩形とし、
撮像画像の部品像の外接矩形を部品外接矩形とし、
特徴点外接矩形と部品外接矩形を用いて、指定された特徴点の存在範囲を絞り込み、この絞り込んだ領域を、特徴点を検出するための探索ウィンドウとして画像処理することを特徴とする部品位置決め方法。
位置決め対象部品の指定された特徴点を全て含む最小矩形を特徴点外接矩形とする手段と、
撮像画像の部品像の外接矩形を部品外接矩形とする手段と、
前記特徴点外接矩形と部品外接矩形を用いて指定された特徴点の存在範囲を絞り込み、この絞り込んだ領域を、特徴点を検出するための探索ウィンドウとして画像処理する手段と、
を備えたことを特徴とする部品位置決め装置。