しかしながら、特許文献1の画像処理装置では、上記のように、撮像画像に含まれるワーク画像の輪郭に沿ってワーク画像を一周するまで包絡点を検出し、検出された包絡点の座標に基づき、包絡点でワークに外接する外接矩形を検出するように構成されているので、検出されるワーク(部品)画像は輪郭線に囲まれた、閉じた領域である必要がある。したがって、たとえば部品の端子の画像のように、同一の部品であるが互いに離間し、閉じた輪郭線を有する領域が撮像画像に含まれる場合には、それぞれの端子を別個のワークとして認識してしまうという不都合がある。このため、複数の画像部分からなる部品画像を1つの部品として認識することができないという問題点がある。
また、特許文献2の電子部品位置検出装置では、上記のように、予め設定登録される部品の特徴点のデータを用いるので、離間した画像部分を有する部品の画像を1つの部品として認識することが可能と考えられる一方、そのためには各画像部分も含めた多数の特徴点を予め設定登録しておかなければならないという不都合がある。また、複雑な形状を有し、特徴点の設定が難しい部品も多く、多数種類の部品を扱う場合には、各部品を個別に設定しなければならないので、特徴点の設定作業が複雑になるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、複雑な設定作業を要することなく、複数の画像部分からなる部品画像を1つの部品として認識することが可能な部品認識装置および部品移載装置を提供することである。
課題を解決するための手段および発明の効果
上記目的を達成するために、この発明の第1の局面による部品認識装置は、撮像された部品の複数の画像部分を含む撮像画像に基づいて画像認識を行う画像認識部を備え、画像認識部は、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全部を取り囲む1つの外接矩形を検出するように構成されている。
この第1の局面による部品認識装置では、上記のように、画像認識部を、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全部を取り囲む1つの外接矩形を検出するように構成することによって、複数の画像部分を個別に認識することなく、複数の画像部分からなる部品の画像を1つの部品(外接矩形)として認識することができる。また、画像認識部を、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全てを取り囲む1つの外接矩形を検出するように構成することによって、複数の画像部分のそれぞれの配置および形状などの特徴点となる情報を個別に登録することなく、認識対象の部品の画像認識可能な部分の寸法データのみにより部品を認識することができる。特に、部品の形状が複雑な場合には、特徴点の数を増やす必要がある一方、部品の寸法データは、部品毎に既に存在するものであるので、複雑な設定作業を要することなく複数の画像部分からなる部品の画像を1つの部品として認識することができる。
上記第1の局面による部品認識装置において、好ましくは、画像認識部は、複数の画像部分と外接し、かつ、一方方向および一方方向と直交する他方方向の寸法が部品の所定部分の一方方向および他方方向の寸法データと比較して所定の公差内に入る外接矩形を検出することにより、部品に対応する複数の画像部分の全部を取り囲む1つの外接矩形を検出するように構成されている。このように構成すれば、部品の所定部分の一方方向および他方方向の寸法と比較することにより、外接矩形を容易に検出することができるとともに、所定の公差内に入る外接矩形を検出することにより、精度良く部品を認識することができる。
上記第1の局面による部品認識装置において、好ましくは、画像認識部を、部品の外接矩形の候補が複数ある場合に、部品の寸法以外の検出条件に基づいて部品の外接矩形を検出するように構成し、検出条件は、外接矩形または外接矩形に含まれる画像部分の少なくとも一方の面積に関する検出条件、または、外接矩形に含まれる画像部分の個数に関する検出条件の少なくとも1つを含む。このように構成すれば、部品の寸法と一致または近似する外接矩形の候補が複数検出された場合にも、上記した検出条件に基づいて、精度良く部品の外接矩形を検出することができる。また、この検出条件を、外接矩形または外接矩形に含まれる画像部分の少なくとも一方の面積に関する検出条件、または、外接矩形に含まれる画像部分の個数に関する検出条件の少なくとも1つを含むように構成することによって、部品の特徴点の配置および位置に関する情報や他の付加的な情報を必要とすることなく、部品の外接矩形の検出を行うことができる。
上記部品の寸法以外の検出条件に基づいて部品の外接矩形を検出する構成において、好ましくは、検出条件は、部品の外接矩形の複数の候補のうち、外接矩形の面積が最小になる外接矩形を部品の外接矩形とする。このように構成すれば、たとえば、撮像画像中の認識対象の部品の近傍にノイズ(撮像画像に写り込んだ不要な発光点)が存在する場合などに、ノイズの分だけ部品の寸法よりもノイズを含む外接矩形の寸法が大きくなる場合に、外接矩形の面積が最小になる外接矩形を部品の外接矩形とする検出条件に基づいて、複数の候補から部品の寸法により一致した外接矩形を検出することができる。
上記部品の寸法以外の検出条件に基づいて部品の外接矩形を検出する構成において、好ましくは、検出条件は、部品の外接矩形の複数の候補のうち、外接矩形内に含まれる各画像部分の面積の合計が最大となる外接矩形を部品の外接矩形とする。このように構成すれば、たとえば、撮像画像中の認識対象の部品の近傍の位置にノイズが存在する場合などに、ノイズを含む外接矩形が、部品を構成する画像部分の全てを取り囲んだ外接矩形よりも矩形内の画像部分の面積の合計は小さくなる場合に、外接矩形内に含まれる各画像部分の面積の合計が最大となる外接矩形を部品の外接矩形とする検出条件に基づいて、複数の候補から部品の寸法により一致した外接矩形を検出することができる。
上記部品の寸法以外の検出条件に基づいて部品の外接矩形を検出する構成において、好ましくは、検出条件は、部品の外接矩形の複数の候補のうち、外接矩形内に含まれる各画像部分の個数が最大となる外接矩形を部品の外接矩形とする。このように構成すれば、たとえば、撮像画像中の認識対象の部品の外周部分に小さな画像部分(部品の一部)が存在する場合などに、部品を構成する画像部分の全てを取り囲んだ外接矩形が、小さな画像部分(部品の一部)を含まない外接矩形よりも矩形内の画像部分の個数が少なくなる場合に、外接矩形内に含まれる各画像部分の個数が最大となる外接矩形を部品の外接矩形とする検出条件に基づいて、複数の候補から部品の寸法により一致した外接矩形を検出することができる。
上記部品の寸法以外の検出条件に基づいて部品の外接矩形を検出する構成において、好ましくは、検出条件は、部品の外接矩形の複数の候補のうち、外接矩形の面積に対する、外接矩形内に含まれる各画像部分の面積の合計の比率が最大となる外接矩形を部品の外接矩形とする。このように構成すれば、たとえば、撮像画像中の認識対象の部品の近傍にノイズが存在する場合などに、このノイズも含めて検出されることにより、ノイズの分だけ部品の寸法よりもノイズを含む外接矩形の寸法が大きくなる一方、ノイズを含む外接矩形の面積に占める画像部分の割合が相対的に小さくなる場合に、外接矩形の面積に対する、外接矩形内に含まれる各画像部分の面積の合計の比率が最大となる外接矩形を部品の外接矩形とする検出条件に基づいて、複数の候補からノイズを含まない外接矩形を検出することができる。
上記部品の寸法以外の検出条件に基づいて部品の外接矩形を検出する構成において、好ましくは、画像認識部は、部品の外接矩形の検出時に適用する少なくとも1つの検出条件を、部品の種類に応じて選択可能に構成されている。このように構成すれば、構造上、撮像画像中に小さな画像部分が複数含まれる部品や、部品の形状および材質によりノイズが写り込み易い部品など、部品の種類に応じて撮像画像の状態も異なる場合に、外接矩形の検出時にどの検出条件を適用するか、1つの検出条件を適用するか、複数の検出条件を併用するかなど、部品の種類に応じて適切な検出条件を選択可能に構成することにより、より精度良く部品の外接矩形を検出することができる。
この発明の第2の局面による部品移載装置は、部品を吸着保持する吸着ノズルを含み、吸着された部品を所定の移載位置に移載するためのヘッドユニットと、吸着ノズルに吸着された部品を撮像する撮像部と、撮像部により撮像された部品の複数の画像部分を含む撮像画像に基づいて画像認識を行う画像認識部を含む部品認識部とを備え、部品認識部の画像認識部は、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全部を取り囲む1つの外接矩形を検出するように構成され、ヘッドユニットは、画像認識結果に基づき吸着ノズルの位置を修正して部品を所定の移載位置に移載するように構成されている。
この第2の局面による部品移載装置では、上記のように、画像認識部を、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全部を取り囲む1つの外接矩形を検出するように構成することによって、複数の画像部分を個別に認識することなく、複数の画像部分からなる部品の画像を1つの部品(外接矩形)として認識することができる。また、画像認識部を、部品の所定部分の寸法データと比較しながら、部品に対応する複数の画像部分の全てを取り囲む1つの外接矩形を検出するように構成することによって、複数の画像部分のそれぞれの配置および形状などの特徴点となる情報を個別に登録することなく、認識対象の部品の画像認識可能な部分の寸法データのみにより部品を認識することができる。特に、部品の形状が複雑な場合には、特徴点の数を増やす必要がある一方、部品の寸法データは、部品毎に既に存在するものであるので、複雑な設定作業を要することなく複数の画像部分からなる部品の画像を1つの部品として認識することができる。また、ヘッドユニットを、画像認識結果に基づき吸着ノズルの位置を修正して部品を所定の移載位置に移載するように構成することにより、外接矩形として認識した部品を移載位置に精度良く移載することができる。
この場合において、好ましくは、ヘッドユニットは、吸着ノズルを回転駆動するノズル回転装置をさらに含み、画像認識結果に基づき吸着ノズルの位置および回転位置を修正して部品を所定の移載位置において所定の方向に移載するように構成されている。このように構成すれば、画像認識結果に基づき、外接矩形として認識した部品の移載位置に加えて、部品の向き(方向)も修正することができるので、所定の移載位置に所定の方向で、より精度良く移載することができる。
以下、本発明の実施形態を図面に基づいて説明する。
以下、図1〜図4を参照して、本発明の一実施形態による表面実装機100の構造について説明する。なお、本実施形態では、本発明の部品認識装置を表面実装機の部品認識部に適用した場合の例について説明する。なお、表面実装機100は、本発明の「部品移載装置」の一例である。
図1および図2に示すように、本実施形態による表面実装機100は、プリント基板110に部品120(図2参照)を実装する装置である。図1に示すように、表面実装機100は、X方向に延びる一対の基板搬送コンベア10と、一対の基板搬送コンベア10の上方をXY方向に移動可能なヘッドユニット20とを備えている。一対の基板搬送コンベア10の両側には、部品120を供給するための複数のテープフィーダ121が配置されている。ヘッドユニット20は、テープフィーダ121から部品120を取得するとともに、基板搬送コンベア10上のプリント基板110に部品120を実装する機能を有する。図2に示すように、基板搬送コンベア10は基台1上に設置され、ヘッドユニット20は、基台1上方に配置されている。以下、表面実装機100の具体的な構造を説明する。
一対の基板搬送コンベア10は、プリント基板110をX方向に搬送するとともに、所定の実装作業位置でプリント基板110を停止させ、図示しない基板保持装置により保持させることが可能なように構成されている。
テープフィーダ121は、複数の部品120を所定の間隔を隔てて保持したテープが巻き回されたリールを保持している。このテープフィーダ121は、リールを回転させることにより部品120を保持するテープを送り出すことによって、テープフィーダ121の先端から部品120を供給するように構成されている。なお、部品120は、IC、トランジスタ、コンデンサおよび抵抗などの小型の電子部品である。
また、ヘッドユニット20は、X方向に延びるヘッドユニット支持部30に沿ってX方向に移動可能に構成されている。具体的には、図1に示すように、ヘッドユニット支持部30は、ボールネジ軸31とボールネジ軸31を回転させるサーボモータ32とX方向のガイドレール(図示せず)とを有している。また、ヘッドユニット20は、ボールネジ軸31が螺合されるボールナット21を有している。ヘッドユニット20は、サーボモータ32によりボールネジ軸31が回転されることにより、ヘッドユニット支持部30に対してX方向に移動するように構成されている。また、ヘッドユニット支持部30は、基台1上に基板搬送コンベア10を跨ぐように設けられたY方向に延びる一対の固定レール部40に沿ってY方向に移動可能に構成されている。具体的には、一方の固定レール部40は、ヘッドユニット支持部30の両端部をY方向に移動可能に支持するガイドレール41を有し、他方の固定レール部40は、ガイドレール41と、Y方向に延びるボールネジ軸42と、ボールネジ軸42を回転させるサーボモータ43とを有しているとともに、ヘッドユニット支持部30には、ボールネジ軸42が螺合されるボールナット33が設けられている。ヘッドユニット支持部30は、サーボモータ43によりボールネジ軸42が回転されることによって、ガイドレール41に沿ってY方向に移動するように構成されている。このような構成により、ヘッドユニット20は、基台1上をXY方向に移動することが可能なように構成されている。
また、ヘッドユニット20には、X方向に列状に配置された6本の吸着ノズル22が下方に突出するように設けられている。また、各々の吸着ノズル22は、負圧発生機(図示せず)によってその先端に負圧状態を発生させることが可能に構成されている。吸着ノズル22は、この負圧によって、テープフィーダ121から供給される部品120を先端に吸着および保持することが可能である。6本の吸着ノズル22は、それぞれ個別に負圧状態の発生および解除を切り替えることが可能に構成されている。
また、各々の吸着ノズル22は、サーボモータなどの昇降装置(図3参照)によって、ヘッドユニット20に対して上下方向(Z方向)に移動可能に構成されている。表面実装機100は、吸着ノズル22が上昇位置に位置した状態で部品120の搬送などを行うとともに、吸着ノズル22が下降位置に位置した状態で部品120のテープフィーダ121からの吸着およびプリント基板110への実装を行うように構成されている。また、吸着ノズル22は、サーボモータなどのノズル回転装置(図3参照)により、吸着ノズル22自体がその軸を中心として回転可能に構成されている。これにより、表面実装機100では、部品120を搬送する途中に吸着ノズル22を回転させることにより、ノズルの先端に保持された部品120の姿勢(水平面内の向き)を調整することが可能である。
また、ヘッドユニット20には、吸着ノズル22に吸着された部品120の姿勢を撮像するためのラインセンサを使用した部品撮像装置50が取り付けられている。この部品撮像装置50は、図2に示すように、ヘッドユニット20に対してX方向(6本の吸着ノズル22が並んでいる方向)に移動可能に取り付けられている。具体的には、ヘッドユニット20には、X方向に延びるボールネジ軸23と、ボールネジ軸23を回転させるサーボモータ24とが設けられているとともに、部品撮像装置50には、ボールネジ軸23が螺合されるボールナット51が設けられている。部品撮像装置50は、サーボモータ24によりボールネジ軸23が回転されることにより、ヘッドユニット20に対してX方向に移動されるように構成されている。また、部品撮像装置50は、吸着ノズル22の下面と対向するように、撮像方向を上方に向けて取り付けられている。これにより、部品撮像装置50は、ヘッドユニット20にX方向に並んで配置された6本の吸着ノズル22に保持された部品120の下面を下方向から順次撮像することが可能になる。また、ヘッドユニット20に部品撮像装置50が取り付けられることによって、部品120を吸着ノズル22により保持した状態でヘッドユニット20を実装位置に移動させながら、部品撮像装置50をヘッドユニット20に対して相対移動させて部品120の姿勢(吸着ノズル22への吸着状態)を撮像することが可能である。この部品撮像装置50により撮像された部品120の撮像画像に基づいて、後述する部品認識を行うことが可能なように構成されている。なお、部品撮像装置50は、本発明の「撮像部」の一例である。
また、表面実装機100の動作は、図3に示す制御装置60によって制御されている。制御装置60は、主演算部61、軸制御部62、記憶部63および画像処理部64を含んでいる。なお、制御装置60は、本発明の「部品認識部」および「部品認識装置」の一例である。また、画像処理部64は、本発明の「画像認識部」の一例である。
主演算部61は、論理演算を実行するCPUなどから構成されている。主演算部61は、記憶部63のROMに記憶されているプログラムに従って、軸制御部62、画像処理部64を介して、部品撮像装置50、各吸着ノズル22を昇降するための昇降装置(サーボモータなど)および回転するためのノズル回転装置(サーボモータなど)、その他の各サーボモータなどを制御するように構成されている。実装時には、主演算部61は、記憶部63に記憶された実装プログラムにしたがってプリント基板110上の所定の搭載位置に部品120が順次装着されるように、これらの軸制御部62、記憶部63および画像処理部64を制御するように構成されている。
軸制御部62は、主演算部61から出力される制御信号に基づいて、表面実装機100の各サーボモータ(ヘッドユニット支持部30をY方向に移動するためのサーボモータ43(図1参照)、ヘッドユニット20をX方向に移動するためのサーボモータ32(図1参照)、6本の吸着ノズル22をそれぞれ上下方向に移動させるための昇降機構のサーボモータ(昇降装置)、6本の吸着ノズル22をそれぞれR軸方向(各吸着ノズルの中心軸回りの回転方向)に回転移動させるための回転機構のサーボモータ(ノズル回転装置)、および、部品撮像装置50をX方向に移動させるためのサーボモータ24(図2参照))などの駆動を制御するように構成されている。
記憶部63は、CPUを制御するプログラムなどを記憶するROM(Read Only Memory)および装置の動作中に種々のデータを一時的に記憶するRAM(Random Access Memory)などから構成されている。また、記憶部63には、所定のプリント基板110の製造を行うための実装プログラムが記憶されるとともに、このプリント基板110に実装される全ての部品120の種類、寸法、部品認識時に適用される外接矩形の検出条件、搭載位置および角度などの部品データが予め設定されている。実装時には、この部品データに含まれた部品120の寸法データに基づいて、吸着ノズル22に吸着された部品120が認識される。この寸法データには、部品120が部品撮像装置50により撮像され、後述する所定の画像処理が実行された撮像画像200(図4参照)において、画像認識可能な外接矩形領域の寸法を示すデータである。たとえば、図4に示すように、ノイズ140を除く複数の画像部分130(ハッチングなしの領域)から、部品120が構成されている。このとき、部品120の画像部分130を取り囲む後述する部品外接矩形150の寸法A×Bが、部品120の寸法データとして記憶部63に記憶されている。なお、部品120の寸法データなどは、部品の製造者から供給されるため、部品120の寸法を測定することなく既に存在する寸法データを流用可能である。
画像処理部64は、主演算部61から出力される制御信号に基づいて、部品撮像装置50から所定のタイミングで撮像信号の読み出しを行うとともに、読み出した撮像信号に所定の画像処理を行うことにより、部品120を認識するのに適した画像データを生成するように構成されている。また、本実施形態では、画像処理部64は、部品撮像装置50により撮像された部品120の撮像画像200に基づき、部品120の部品認識を行うように構成されている。具体的には、図4に示すように、画像処理部64は、部品120の撮像画像200に基づき、部品120の寸法データと比較しながら、部品120に対応する画像部分130の全部を取り囲む1つの部品外接矩形150を検出するように構成されている。部品認識は、部品120の寸法(A×B)に所定の公差内で一致した部品120の外接矩形(部品外接矩形150)を検出することにより行われる。つまり、部品認識処理によって、部品120の所定部分の寸法データに対応したA×Bの寸法を有する部品外接矩形150を撮像画像200から検出することにより、部品認識が行われる。これにより、認識対象の部品120について、部品120の各部分の配置や形状などに関する詳細な情報を必要とすることなく、画像認識が可能な所定部分の寸法A×Bに基づいて部品認識を行うことが可能である。
また、本実施形態では、画像処理部64は、部品外接矩形150の候補が複数ある場合に、部品120の寸法A×B以外の検出条件に基づいて部品外接矩形150を検出するように構成されている。この検出条件は、複数の異なる検出条件を含み、部品120の種類に応じて適用される少なくとも1つの検出条件が選択されるように構成されている。この複数の検出条件のうち、認識対象の部品120に対していずれの検出条件を適用するかは、記憶部63の部品データに予め登録されている。したがって、部品認識時に、部品外接矩形150の候補が複数ある場合には、記憶部63から認識対象の部品120の部品データが読み出され、部品120の種類に応じた検出条件が適用されるように構成されている。なお、この検出条件は、複数の検出条件を併用して適用することも可能である。また、検出条件は、外接矩形または外接矩形に含まれる画像部分130の少なくとも一方の面積に関する検出条件または外接矩形に含まれる画像部分130の個数に関する検出条件の少なくとも1つを含むように設定されている。
図5および図6は、撮像された部品の撮像画像に基づき、部品認識を行う際の処理を説明するためのフロー図である。図7〜図16は、それぞれ、部品認識処理の内容を説明するための図である。次に、図4〜図16を参照して、本発明の一実施形態による表面実装機100の部品認識処理について詳細に説明する。
本実施形態では、図1および図2に示すように、吸着ノズル22によりテープフィーダ121から部品120が吸着されると、ヘッドユニット20がプリント基板110の所定の実装位置へ移動しながら、吸着ノズル22により吸着された部品120の下面が部品撮像装置50により撮像される。このとき、図4に示すように、画像処理部64によって部品撮像装置50から部品120の撮像画像200が読み出されるとともに、記憶部63に記憶された部品120の寸法データが読み出される。この部品120の撮像画像200に基づき、部品120の寸法データと比較しながら、部品120に対応する複数の画像部分130の全部を取り囲む部品外接矩形150を検出する。また、図7に示すように、この部品外接矩形150の検出は、座標系の角度を所定の角度範囲で角度θずつ回転させて、複数回繰り返して行われる。これにより、部品120が部品撮像装置50に対して傾いた状態で撮像された場合にも、部品120の部品外接矩形150を正しく認識することが可能である。なお、以下の説明では、部品120の複数の画像部分130の全部を取り囲み、設定された寸法A×Bを有する外接矩形を、「部品外接矩形150」と表す。これに対して、単に「外接矩形」と表す場合には、部品認識処理の過程で検出され、部品認識の目標となる部品外接矩形150の候補となりうる全ての外接矩形が含まれる。すなわち、以下の処理により複数検出された外接矩形(候補)の中から、部品外接矩形150と一致する外接矩形を選出することにより、部品認識を行う。
図5に示すように、ステップS1では、画像処理部64により部品撮像装置50から読み出された部品120の撮像画像200に所定の画像処理を施され、撮像画像200上の各画像部分130の輪郭検出が行われる。図4に示すように、この輪郭検出により、座標系X−Yにおける各画像部分130および撮像画像200上に写り込んだノイズ140の輪郭の座標が取得される。ここで、座標系X−Yは、部品撮像装置50により撮像画像200に予め設定される座標系である。輪郭検出では、まず、濃淡を有する撮像画像(図示せず)の濃度に関する所定の閾値に基づいて2値化を行うことにより、撮像画像の2値画像を得る。図4に示す撮像画像200は、得られた2値画像を示している。次に、2値画像である撮像画像200の輪郭追跡を行い、チェインコードを検出する。すなわち、2値画像の任意の境界画素(0(白)と1(黒)との境界の画素)を検出し、その境界画素(中心境界画素)を中心に取り囲む8画素のうち、境界画素である画素(周辺境界画素)を検出し、中心境界画素に対する周辺境界画素の方向をチェインコードとして生成する。その後、チェインコードの方向に検出された周辺境界画素を中心境界画素として、チェインコードの生成を繰り返すことにより、境界画素によって囲まれた領域である画像部分130の輪郭を検出する。これにより、撮像画像200の各画像部分130(ノイズ140)の輪郭の座標を取得する。なお、本実施形態では、説明の便宜上、撮像画像200中、部品120の構成部分を画像部分130とし、部品120を構成しない不要な発光点をノイズ140として説明するが、部品認識処理上では区別されないので、共に発光領域として処理される。
ステップS2では、ステップS1で検出した各画像部分130の輪郭座標に基づき、画像処理部64により、撮像画像200に含まれる各画像部分130のX−Y座標系における最大座標および最小座標が取得される。たとえば、図4の左下側に位置する画像部分130については、最大座標xmaxおよびymaxと、最小座標xminおよびyminとが取得される。この最大座標および最小座標の検出が、全ての画像部分130(ノイズ140)に対して行われる。また、取得された全ての画像部分130(ノイズ140)の最大座標および最小座標は、X座標およびY座標のそれぞれについて、最小座標は値の小さい順(昇順)に配列し、最大座標は値の大きい順(降順)に配列して記憶部63に格納される。
ステップS3では、取得された各画像部分130の最大X座標および最小X座標について、最小X座標と最大X座標との差を求め、部品120のX座標方向の寸法Aと比較することにより、部品120のX座標方向の寸法Aと一致する最大X座標および最小X座標の組み合わせが検出される。画像処理部64により、昇順に配列された最小X座標と、降順に配列された最大X座標とが順次記憶部63から読み出され、最小X座標と最大X座標との組み合わせについて差の比較が行われる。部品120のX座標方向の寸法Aと一致するか否かの比較は、求めた最小X座標と最大X座標との差(線分の大きさ)が、予め設定された寸法Aの所定の公差内にあるか否かを求めることにより実施され、公差内にあれば寸法Aと一致すると判断される。部品120の寸法Aと一致する組み合わせがあり、かつ、その一致する組み合わせが、既に記憶部63に記憶された最大X座標および最小X座標の組み合わせではなければ、その組み合わせを記憶部63に新たに記憶する。その一致する組み合わせが、既に記憶部63に記憶された最大X座標および最小X座標の組み合わせと同じであれば、改めて部品120の寸法Aと一致し、かつ、記憶部63に記憶されていない別の最大X座標および最小X座標の組み合わせを求める。
図8に示すように、画像部分130aの最小X座標x1と、画像部分130bの最大X座標x2との差A1は、部品120の寸法Aと略一致し、設定した公差の範囲内となるので、この最小X座標x1と最大X座標x2との組み合わせは、既に記憶部63に記憶された最大X座標および最小X座標の組み合わせではない場合に、部品120の寸法Aと一致する組み合わせとして新たに記憶される。一方、画像部分130aの最小X座標x1と、画像部分130cの最大X座標x3との差A2の大きさは、部品120の寸法Aに比べて小さい。このため、差A2は、設定した公差の範囲内とはならず、部品120の寸法Aと一致しないことから、部品120の寸法Aと一致する組み合わせからは除外され、検出されない。
そして、ステップS4において、画像処理部64により、部品120のX座標方向の寸法Aの所定の公差の範囲内となる最大X座標および最小X座標の組み合わせの有無が判断される。すなわち、ステップS3で新たに記憶された最大X座標および最小X座標の組み合わせが存在するか否かが判断され、存在する場合には、ステップS5に移行する。存在しない場合は、部品120の寸法Aと一致する組み合わせがないか、あったとしても先行して実施されたステップS3で既に選択されて、後述するステップS5以下が実施済みの組み合わせとなる場合であり、ステップS10へ移行する。
ステップS5では、画像処理部64により、ステップS3で検出され新たに記憶部63に記憶された最小X座標および最大X座標の組み合わせにより求まるX座標範囲内において、各画像部分130の最大Y座標および最小Y座標について最小Y座標と最大Y座標との差が求められる。この最小Y座標と最大Y座標との差と、部品120のY座標方向の寸法Bとが比較されることにより、部品120のY座標方向の寸法Bと一致する最大Y座標および最小Y座標の組み合わせが検出される。この際、昇順に配列された最小Y座標と、降順に配列された最大Y座標とが順次記憶部63から読み出され、最小Y座標と最小Y座標との組み合わせについて差の比較が行われる。部品120のY座標方向の寸法Bと一致するか否かの比較は、求めた最小Y座標と最大Y座標との差(線分の大きさ)が、予め設定された寸法Bの所定の公差内にあるか否かを求めることにより実施され、交差内にあれば寸法Bと一致すると判断される。部品120の寸法Bと一致する組み合わせがあり、かつ、その一致する組み合わせが、既に記憶部63に記憶された最大Y座標および最小Y座標の組み合わせでなければ、その組み合わせを記憶部63に新たに記憶する。その一致する組み合わせが、既に記憶部63に記憶された最大Y座標および最小Y座標の組み合わせと同じであれば、改めて部品120の寸法Bと一致し、かつ、記憶部63に記憶されていない別の最大Y座標および最小Y座標の組み合わせを求める。
図9に示すように、検出された最小X座標x1と最大X座標x2との差A1の範囲内において、Y座標方向に関して比較した場合には、画像部分130dの最小Y座標y1と、画像部分130bの最大Y座標y2との差B1は、部品120のY座標方向の寸法Bと略一致し、設定した公差の範囲内となるので、この座標y1と座標y2との組み合わせは、既に記憶部63に記憶された最大Y座標および最小Y座標の組み合わせではない場合に、部品120の寸法Bと一致する組み合わせとして新たに記憶される。一方、画像部分130eの最小Y座標y3と、画像部分130bの最大Y座標y2との差B2の大きさは、部品120の寸法Bに比べて小さい。このため、差B2は、設定した公差の範囲内とはならず、部品120の寸法Bと一致しないため、部品120の寸法Bと一致する組み合わせからは除外され、検出されない。なお、ノイズ140aの最小Y座標y4と画像部分130e(130g)の最大Y座標y5との組み合わせも、最小Y座標y4と最大Y座標y5との差B3が部品120の寸法Bと所定の交差の範囲内となる場合には、部品120の寸法Bと一致するとして検出され得るが、この最小Y座標y4と最大Y座標y5の組み合わせは、最小Y座標y1と最大Y座標y2の組み合わせが既に記憶部63に記憶されたものである場合、あるいは、最小Y座標y1と最大Y座標y2の組み合わせを用いて後述するステップS6、S7およびS8が順次実施され、ステップS8でNoとなり、改めてステップS5が実施される場合に検出され、部品120の寸法Bと一致する組み合わせとして新たに記憶される。
ステップS6では、画像処理部64により、部品120のY方向の寸法Bの所定の公差の範囲内となる最大Y座標および最小Y座標の組み合わせの有無が判断される。すなわち、ステップS5で新たに記憶された最大Y座標および最小Y座標の組み合わせが存在するか否かが判断され、存在する場合はステップS7に移行する。存在しない場合は、部品120の寸法Bと一致する組み合わせがないか、あったとしても先行して実施されたステップS5で既に選択されて後述するステップS7以下が実施済みの組み合わせとなる場合であり、ステップS3へ戻る。
図9で示した例では、検出された最小X座標x1と最大X座標x2との差A1の範囲内において部品120の寸法Bと一致する最大Y座標および最小Y座標の組み合わせが存在することにより、A1×B1の寸法を有し、9個の画像部分130(130aなど)を取り囲む外接矩形151が検出される。なお、A1×B3の寸法を有し、6個の画像部分130(130eなど)および2個のノイズ140(140aなど)を取り囲む外接矩形152が検出され得るが、この外接矩形152は、外接矩形151を用いたステップS7以下が実施済みであることにより、再び実施されるステップS5、S6を経て検出される。
部品120の寸法A×Bに一致または近似した寸法を有し、対辺がそれぞれX座標軸とY座標軸とに平行な矩形からなる外接矩形が得られると、ステップS7へ移行して、これらの得られた外接矩形内に含まれる画像部分130(ノイズ140)のグループを座標系X−Yに対して所定角度ずつ回転させ、回転させたそれぞれの角度において対辺がそれぞれX座標軸とY座標軸とに平行な矩形からなる外接矩形を求め、この複数の外接矩形の内面積が最小となる外接矩形が得られる角度を求める。これは、外接矩形内に部品120が収まっている場合には、矩形の面積が最小になる回転角度において、予め設定された部品120の寸法A×Bと一致することになるためである。図4に示すように、部品120の寸法A×Bは、部品120が座標系X−Yに対して傾くことなく撮像された場合の部品外接矩形150の寸法である。図7は、図4の状態から画像部分130を固定したまま、座標系を相対的に回転した状態で、画像部分130に対する外接矩形を求めるに際し、対辺がそれぞれ回転した座標系のX1軸Y1軸に平行な矩形からなる外接矩形、対辺がそれぞれ回転した座標系のX2軸Y2軸に平行な矩形からなる外接矩形、および対辺がそれぞれ回転した座標系のX3軸Y3軸に平行な矩形からなる外接矩形を求めた状態を図示するものである。回転角度が大きくなる程、外接矩形が大きくなるのが分かる。部品撮像装置50は、撮像画像200の座標系X−Yが基台1に設定した座標系X−Yと一致するようにヘッドユニット20にX方向に移動可能に配設している。最小となる外接矩形が部品120と一致するものであり、図7においては、座標系X−Yにより求まる外接矩形が部品120と一致するものであるから、もし、座標系X1−Y1が部品120を撮像した時の基台1上の座標系X−Yと一致すると仮定した場合、基台1上の座標系X−Y(座標系X1−Y1と一致と仮定)に対して、部品120が時計方向にθだけ傾いていることが分かる。同様、座標系X3−Y3が部品120を撮像した時の基台1上の座標系X−Yと一致すると仮定した場合、基台1上の座標系X−Yに対して、部品120が時計方向に3θだけ傾いていることが分かる。
ここで、図10に示すように、ステップS2〜S6までの処理により、部品120の寸法A×Bに一致または近似する寸法を有する外接矩形151が得られ、ステップS7〜S8を経て再びステップS5、S6の処理により部品120の寸法A×Bに一致または近似する寸法を有する外接矩形152が得られ、外接矩形153は、外接矩形152が得られた後、ステップS7〜S8を経てステップS5、S6、さらにステップS3に戻り、ステップS3〜S6の処理により得られたとする。外接矩形153は、画像部分130d、130e、130fおよび130gと、ノイズ140bおよび140cとを含んでいる。このとき、外接矩形153は、A3×B4の寸法を有する。外接矩形153が得られた後のステップS7において、外接矩形153に含まれる画像部分130d、130e、130fおよび130gと、ノイズ140bおよび140cとを回転させ、外接矩形の面積が最小になる角度を検出する。図11の回転前の状態における外接矩形153は、角度φだけ回転させることによって、図11の回転後の状態に示す外接矩形153aとなった場合に最小の面積となる。この場合の外接矩形153aの寸法は、A4×B5となる。この外接矩形153aのY座標方向の寸法B5は、部品120のY座標方向の寸法Bとは一致しない。このようにして、外接矩形の面積が最小となる回転角度φを求める。この回転角度φを求める原理は図7について上述した通りである。
次に、ステップS8において、画像処理部64により、面積が最小となる回転角度φにおける外接矩形の寸法が、部品120の寸法A×Bと一致または近似するか否かが判断される。外接矩形の寸法が部品120の寸法A×Bと一致または近似する場合には、ステップS9へ移行する。ステップS9では、この外接矩形を形成する最大X座標および最小X座標と、最大Y座標および最小Y座標との組み合わせが、記憶部63に登録済みであるか参照され、登録されていない場合には、部品120の部品外接矩形150の候補として登録される。また、図11の回転後の状態における外接矩形153aのように、寸法A4×B5が部品120の寸法A×Bと一致しない場合には、この外接矩形153aを除外し、ステップS5へ移行して、再度Y座標方向の寸法が一致する画像部分130の組み合わせの検出を試みる。
一方、ステップS3で検出された最大X座標および最小X座標の組み合わせから、部品120の寸法Aと所定の公差の範囲内で一致する組み合わせがなかった場合、またはステップS3〜S9を繰り返すことにより一致する新たな組み合わせがなくなった場合には、ステップS4において、部品120の寸法Aと一致する組み合わせなしか、新たな組み合わせなしと判断され、ステップS10に移行する。
ステップS10では、予め指定された角度範囲において、外接矩形の検出がされたか否かが判断され、指定角度範囲で部品外接矩形150の検出を行っていない場合には、ステップS11に移行する。ステップS11では、座標系X−Yを所定の角度θ回転させ、再度ステップS2〜S9までの検出処理を行う。すなわち、図7に示すように、ステップS2〜S9までの外接矩形の検出処理を、部品撮像装置50の座標系X−Yから角度θずつ回転させて、所定角度範囲分だけ複数回にわたって繰り返し行う。ここで、本実施形態では、この座標系の回転角度θは5度とされている。また、検出を繰り返す所定の角度範囲は、−45度〜+45度の範囲で行う。このため、最初、部品撮像装置50の座標系X−Yで行ったステップS2〜S9までの検出処理を、角度θだけ座標回転させた座標系X1−Y1により行う。検出および座標回転を座標系X2−Y2、座標系X3−Y3となるように繰り返し、所定角度範囲分だけ検出処理を行った場合には、ステップS10において指定角度範囲分検出を行ったと判断され、ステップS12へ移行する。なお、回転させたそれぞれの座標系における部品外接矩形150の検出は、上記ステップS2〜S9を繰り返すことにより行われるので、説明を省略する。また、回転させた座標系X1−Y1、X2−Y2およびX3−Y3において部品120の寸法A×Bと一致または近似する寸法を有する外接矩形が検出された場合には、ステップS9において、この外接矩形を形成する最大X座標および最小X座標と、最大Y座標および最小Y座標との組み合わせが、記憶部63に登録済みであるか参照され、登録されていない場合には、部品120の部品外接矩形150の候補として登録される。
なお、基台1に設定した座標系X−Yと一致するように部品撮像装置50の座標系X−Yを設定し、部品120を撮像したときに得られる撮像画像200に対し、撮像画像200の座標系X−Yは基台1に設定した座標系X−Yと一致する。この座標系を用いて外接矩形を求めることで必ずしも最小の外接矩形が求められることにはならず、基台1に設定した座標系X−Yと一致する撮像画像200の座標系X−Yから反時計方向に回転させた座標系、たとえば図7に示すX1−Y1、X2−Y2、あるいはX3−Y3の座標系を使いステップS2〜S10を実施することで最小の外接矩形を求められるため、ステップS11が実施される。これらのX1−Y1、X2−Y2、あるいはX3−Y3の座標系を使い求められる各座標系における部品120の位置、傾き(回転角度φ)は、基台1に設定した座標系X−Yと一致する撮像画像200の座標系X−Yに座標変換され、撮像画像200の座標系X−Yにおける部品120の位置、傾きが算出される。
図6のステップS12では、画像処理部64により記憶部63が参照され、部品120の部品外接矩形150の候補となる外接矩形が複数検出されたか否かが判断される。上記のように、指定角度範囲内で複数回の外接座標の検出を行った場合には、部品120の寸法A×Bと略一致する寸法を有する外接矩形が複数検出され、複数の組み合わせが候補として登録されている場合がある。この場合には、複数の候補ありと判断され、ステップS13に移行する。一方、検出された部品外接矩形150の候補が1つのみである場合には、ステップS15へ移行する。そして、検出された外接矩形が部品120の部品外接矩形150として認識され、部品認識結果が出力される。この出力には、基台1に設定した座標系X−Yと一致する撮像画像200の座標系X−Yにおける部品120の部品外接矩形150の吸着ノズル22中心に対するXY方向位置、傾き(回転角度φ)、外形形状が含まれる。
ステップS13では、記憶部63から部品データに含まれる検索条件が読み込まれる。この検索条件は、部品外接矩形150の複数の候補の中から1つの部品120の部品外接矩形150を選び出すための条件である。部品120の形状などは部品120の種類により異なり、ノイズ140が撮像画像200に写り込み易い部品120や、複数の端子を備え、撮像画像に小型の画像部分130が多数含まれる部品120など、様々である。このため、撮像された部品120の部品データに基づいて、検出対象の部品120に適用される検出条件が選択される。
そして、ステップS14では、選択された検出条件に基づいて、複数の候補の中から部品120の部品外接矩形150が検出される。ここで、適用される4つの検出条件を説明する。なお、以下では典型的な例として、部品外接矩形150の2つの候補の中から、1つの外接矩形を選択する場合について説明する。
まず、第1の検出条件は、部品120の部品外接矩形150の複数の候補のうち、外接矩形内に含まれる各画像部分の面積の合計が最大となる外接矩形を部品120の部品外接矩形150とする検出条件である。図12に示すように、撮像画像201に、12個の画像部分131からなる部品120aが存在する場合に、これらの12個の画像部分131を含む外接矩形154が、設定された部品120aの部品外接矩形150と一致する。このとき、画像左側の画像部分131の反対側(右側)に、同程度の間隔で3つのノイズ141が存在するために、寸法の略一致する2つの候補(外接矩形154および155)が検出されたとする。ここで、撮像画像に写り込むノイズは、通常、部品120を構成する画像部分と比較して小さい発光点である。このため、矩形内に含まれる画像部分131(ノイズ141)の面積の合計が最大となる外接矩形を、部品120aの部品外接矩形150であると認識する。これにより、図12に示すように、9個の画像部分131と3つのノイズ141とを含む外接矩形155よりも、12個の画像部分131を含む外接矩形154の方が矩形内に含まれる画像部分の面積の合計が大きくなるため、部品120aの外接矩形として、外接矩形154が選択される。これにより、ノイズ141の面積に比べて個々の画像部分の面積が大きい部品120の部品外接矩形150を正しく認識することが可能となる。
次に、第2の検出条件は、部品120の部品外接矩形150の複数の候補のうち、外接矩形内に含まれる各画像部分130の個数が最大となる外接矩形を部品120の部品外接矩形150とする検出条件である。図13に示すように、撮像画像202に、12個の大型の画像部分132aと、3個の小型の画像部分132bとからなる部品120bが存在する場合に、これらの12個の画像部分132aと、3個の小型の画像部分132bを含む外接矩形156が、部品120bに設定された部品外接矩形150と一致する。このとき、3つの小型の画像部分132b以外の12個の画像部分132aのみを含んだ外接矩形157と、12個の大型の画像部分132aと、3個の小型の画像部分132bとの両方を含む外接矩形156とが候補として検出されたとする。この場合には、合計12個の画像部分132aが含まれる外接矩形157よりも合計15個の画像部分132aおよび132bが含まれる外接矩形156の方が、矩形内に含まれる画像部分132aおよび132bの個数が多いことにより、部品120bの外接矩形として、外接矩形156が選択される。これにより、撮像画像に小型の画像部分が多く含まれる部品120の部品外接矩形150を正しく認識することが可能となる。
次に、第3の検出条件は、部品120の部品外接矩形150の複数の候補のうち、外接矩形の面積が最小になる外接矩形を部品120の部品外接矩形150とする検出条件である。図14に示すように、撮像画像203に、12個の画像部分133からなる部品120cが存在する場合に、これらの12個の画像部分133を含む外接矩形158が、部品120cに設定された部品外接矩形150と一致する。このとき、画像右下側のノイズ142が存在するために、寸法の略一致する2つの候補(外接矩形158および159)が検出されたとする。すなわち、12個の画像部分133を含む外接矩形158と、12個の画像部分133および1つのノイズ142とを含む外接矩形159とが候補として検出されている。外接矩形158は、A5×B6の寸法を有し、外接矩形159は、外接矩形158よりも大きい寸法A6×B7を有する。この場合、画像部分(ノイズ)142を含む外接矩形159は、外接矩形158の外側のノイズ142と外接する分だけ外接矩形158よりも面積が大きいので、より面積の小さい外接矩形158が、部品120cの外接矩形であるとして選択される。これにより、部品120の材質などにより、部品120の部品外接矩形150の近傍にノイズが写り込み易い部品120の部品外接矩形150を正しく認識することが可能となる。
次に、第4の検出条件は、部品120の部品外接矩形150の複数の候補のうち、外接矩形の面積に対する、外接矩形内に含まれる各画像部分の面積の合計の比率が最大となる外接矩形を部品120の部品外接矩形150とする検出条件である。図15に示すように、撮像画像204に、12個の画像部分134からなる部品120dが存在する場合に、これらの12個の画像部分134を含む外接矩形160が、部品120dに設定された部品外接矩形150と一致する。このとき、画像内の6つのノイズ143が存在するために、寸法の略一致する2つの候補(外接矩形160および161)が検出されたとする。すなわち、12個の画像部分134および2つのノイズ143を含む外接矩形160と、8個の画像部分134および6つのノイズ143を含む外接矩形161とが候補として検出されている。この場合、外接矩形内に含まれる画像部分の数の合計が同一で、かつ、外接矩形160および161の面積も略同一であっても、小型の画像部分(ノイズ)143を多く含む外接矩形161は、外接矩形161の面積に対する、外接矩形161内に含まれる各画像部分134および143の面積の合計の比率が外接矩形160よりも小さくなる。このため、外接矩形160が、部品120dの部品外接矩形150であるとして選択される。
以上のような検出条件の1つまたは複数を、部品120の種類に応じて選択し、適用することにより、部品120の部品外接矩形150と寸法が一致または近似する部品外接矩形150の候補が複数存在する場合にも、部品外接矩形150を正しく検出することが可能である。
図6に示すステップS14では、画像処理部64により、認識対象の部品120の種類に応じて部品データに予め登録された検出条件に基づき、部品120の部品外接矩形150の複数の候補から1つの部品外接矩形150を検出する。
そして、ステップS15において、検出された部品120の部品外接矩形150が、部品認識の結果として吸着ノズル22中心に対する位置、傾きを含めて出力される。これにより、図16に示すように、撮像画像200から、部品120を構成する画像部分130を取り囲み、設定された部品120の寸法A×Bと一致する部品外接矩形150が検出される。同時に、この部品外接矩形150が得られた回転角度ψが取得される。図16に示すように、部品120が部品撮像装置50に対して傾くことなく撮像された場合には、この回転角度ψは0度となり、部品撮像装置50の座標系X−Yにおいて検出された外接矩形が、部品120の部品外接矩形150とされる。
以上により、撮像画像200に基づく部品120の部品認識処理が行われる。また、この部品認識結果に基づいて、吸着ノズル22に吸着された部品120の姿勢が認識される。また、たとえば部品120の中心位置を基準として実装される部品120である場合には、図16に示すように、部品外接矩形150の中心位置(=部品120の中心)Cの座標(xc,yc)が取得される。そして、この中心位置Cや、吸着された部品120の姿勢(傾き)に基づいて、部品120のプリント基板110への実装位置の補正が行われる。
次に、本実施形態の表面実装機100によるプリント基板110への部品120の実装動作について説明する。
まず、図1に示すように、プリント基板110が一対の基板搬送コンベア10を介して基台1上に搬入されるとともに、基台1の中央の装着作業位置まで搬送され、固定保持される。この際、ヘッドユニット20がプリント基板110の上方に移動して、プリント基板110の図示しない複数の基板マークを、図示しない基板撮像装置により撮像する。これにより、部品の装着位置の基準点を取得する。
また、プリント基板110の搬入動作と並行して、実装対象の部品120がヘッドユニット20によりテープフィーダ121から取り出される。具体的には、ヘッドユニット20がテープフィーダ121の所定の部品取出位置の上方に移動されることにより、テープフィーダ121に保持される実装対象の部品120の上方にヘッドユニット20の吸着ノズル22が配置される。
その後、吸着ノズル22を下降させるとともに、所定のタイミングで吸着ノズル22の先端に負圧が供給される。これにより、テープフィーダ121上の部品120が吸着ノズル22により吸着および保持される。また、この後テープフィーダ121は、次の部品120が部品取出位置に配置されるまで、テープ送りを実施する。
部品120の吸着後、部品120を保持した吸着ノズル22が上昇し、ヘッドユニット20はプリント基板110の上方の、基板マークを基準とした装着位置に移動される。この時、ヘッドユニット20を移動させながら、図2に示すように、ヘッドユニット20に取り付けられた部品撮像装置50をX方向に移動させることにより、吸着ノズル22に保持された部品120の撮像が行われる。これにより、部品120の下面の画像を撮像する。
この際、画像処理部64により部品120の下面の撮像画像200が部品撮像装置50から読み出されるとともに、記憶部63から吸着された部品120の寸法および検出条件が読み出される。そして、画像処理部64は、部品120の下面の撮像画像200と、部品120の寸法データとに基づいて、上述の部品認識処理を行い、撮像された部品120の位置および姿勢(回転角度)を認識する。この部品認識結果に基づき、吸着ノズル22による部品120の吸着位置(部品120の中心位置)の正しい吸着位置(吸着ノズル22の中心位置)に対するずれ量を算出する。そして、その算出したずれ量に基づいてヘッドユニット20がサーボモータ24および43によりXY方向に移動するとともに吸着ノズル22がノズル回転装置により回転して、部品120の装着位置の補正が行われる。上述した部品120の装着位置の補正処理は、ヘッドユニット20がテープフィーダ121上からプリント基板110の所定の装着位置に移動するのと並行して行われる。
そして、図1に示すように、ヘッドユニット20がプリント基板110の装着位置に移動された後、吸着ノズル22が下降されて部品120がプリント基板110に装着される。以上の処理が繰り返し行われることにより、部品120のプリント基板110への装着が行われる。
また、部品120の実装が完了したプリント基板110は、一対の基板搬送コンベア10を介して基台1から搬出される。このようにして、表面実装機100による部品120の実装動作が終了する。なお、この搬送と並行して、次のプリント基板110が装着作業位置に向けて搬入される。
本実施形態では、上記のように、画像処理部64を、部品120の画像認識可能な部分の寸法データ(A×B)と比較しながら、部品120に対応する複数の画像部分130の全部を取り囲む1つの部品外接矩形150を検出するように構成することによって、複数の画像部分130を個別に認識することなく、複数の画像部分130からなる部品120の画像を1つの部品(部品外接矩形150)として認識することができる。また、画像処理部64を、予め設定された部品120の寸法データA×Bと比較しながら、部品120に対応する複数の画像部分130の全てを取り囲む1つの部品外接矩形150を検出するように構成することによって、複数の画像部分130のそれぞれの配置および形状などの特徴点となる情報を個別に登録することなく、認識対象の部品120の画像認識可能な部分の寸法データA×Bのみにより部品120を認識することができる。特に、部品120の形状が複雑な場合には、特徴点の数を増やす必要がある一方、部品120の寸法A×Bは、部品120毎に既に存在するものであるので、複雑な設定作業を要することなく複数の画像部分130からなる部品120の画像を1つの部品(部品外接矩形150)として認識することができる。
また、本実施形態では、上記のように、画像処理部64は、複数の画像部分130と外接し、かつ、X座標方向およびX座標方向と直交するY座標方向の寸法が部品120のX座標方向の寸法AおよびY座標方向の寸法Bと比較して所定の公差内に入る外接矩形を検出することにより、部品120に対応する複数の画像部分130の全部を取り囲む部品外接矩形150を検出するように構成することによって、部品120のX座標方向およびY座標方向の寸法データA×Bと比較することにより、部品外接矩形150を容易に検出することができるとともに、所定の公差内に入る外接矩形(外接矩形151など)を検出することにより、精度良く部品120を認識することができる。
また、本実施形態では、上記のように、画像処理部64を、部品120の部品外接矩形150の候補(154など)が複数ある場合に、部品120の寸法A×B以外の検出条件(第1〜第4の検出条件)に基づいて部品120の部品外接矩形150を検出するように構成し、検出条件は、外接矩形(154など)または外接矩形(154など)に含まれる画像部分130(ノイズ140)の少なくとも一方の面積に関する検出条件または外接矩形(154など)に含まれる画像部分130(ノイズ140)の個数に関する検出条件の少なくとも1つを含めることによって、部品120の寸法A×Bと一致または近似する外接矩形の候補(154など)が複数検出された場合にも、第1〜第4の検出条件に基づいて、精度良く部品120の部品外接矩形150を検出することができる。また、部品120の特徴点の配置および位置に関する情報や他の付加的な情報を必要とすることなく、部品120の部品外接矩形150の検出を行うことができる。
また、本実施形態では、上記のように、第1の検出条件を、部品120の部品外接矩形150の複数の候補154および155のうち、外接矩形内に含まれる各画像部分131の面積の合計が最大となる外接矩形154を部品120の部品外接矩形150とすることによって、撮像画像201中の認識対象の部品120の近傍にノイズ141が存在する場合などに、ノイズ141を含む外接矩形155は、部品120を構成する画像部分131の全てを取り囲んだ外接矩形154よりも矩形内の画像部分131(ノイズ141)の面積の合計は小さくなるので、外接矩形内に含まれる各画像部分131(ノイズ141)の面積の合計が最大となる外接矩形154を部品120の部品外接矩形150とする検出条件に基づいて、複数の候補(154および155)から部品120の寸法A×Bにより一致した部品外接矩形150(154)を検出することができる。
また、本実施形態では、上記のように、第2の検出条件を、部品120の部品外接矩形150の複数の候補(156および157)のうち、外接矩形(156および157)内に含まれる各画像部分132aおよび132bの個数が最大となる外接矩形156を部品120の部品外接矩形150とすることによって、図13に示すように、撮像画像202中の認識対象の部品120の外周部分に小さな画像部分132b(部品120の一部)が存在する場合などに、部品120を構成する画像部分132aおよび132bの全てを取り囲んだ外接矩形156は、小さな画像部分132b(部品の一部)を含まない外接矩形157よりも矩形内の画像部分132aおよび132bの個数が少なくなるので、外接矩形内に含まれる各画像部分132aおよび132bの個数が最大となる外接矩形156を部品120の部品外接矩形150とする検出条件に基づいて、複数の候補(156および157)から部品120の寸法A×Bにより一致した部品外接矩形150(156)を検出することができる。
また、本実施形態では、上記のように、第3の検出条件を、部品120cの部品外接矩形150の複数の候補(外接矩形158および159)のうち、外接矩形の面積が最小になる外接矩形を部品120cの部品外接矩形とすることによって、図14に示すように、撮像画像203中の認識対象の部品120cの近傍に存在するノイズ142も含めて検出されることにより、寸法の近似した部品外接矩形150の候補(外接矩形158および159)が複数検出される場合に、ノイズ142の分だけ外接矩形158の寸法A5×B6よりもノイズ142を含む外接矩形159の寸法A6×B7が大きくなるので、外接矩形の面積が最小になる外接矩形158を部品120cの部品外接矩形150とする検出条件に基づいて、複数の候補(158および159)から部品120の寸法A×Bにより一致した部品外接矩形150(158)検出することができる。
また、本実施形態では、上記のように、第4の検出条件を、部品120dの寸法に近似する複数の外接矩形160および161のうち、外接矩形の面積に対する、外接矩形内に含まれる各画像部分134(ノイズ143)の面積の合計の比率が最大となる外接矩形160を部品120dの部品外接矩形150とすることによって、図15に示すように、撮像画像204中のノイズ143を含む外接矩形161は、矩形の面積に占める画像部分134(ノイズ143)の割合が相対的に小さくなるので、外接矩形の面積に対する、外接矩形内に含まれる各画像部分134(ノイズ143)の面積の合計の比率が最大となる外接矩形160を部品120dの部品外接矩形150とする検出条件に基づいて、複数の候補(160および161)からノイズ143を含まない部品外接矩形150(160)を検出することができる。
また、本実施形態では、上記のように、画像処理部64を、部品120の部品外接矩形150の検出時に適用する少なくとも1つの検出条件(第1〜第4の検出条件)を、部品120の種類に応じて予め選択可能に構成することによって、構造上、撮像画像200中に小さな画像部分130が複数含まれる部品120や、部品120の形状および材質によりノイズ140が写り込み易い部品120など、部品外接矩形150の検出時にどの検出条件を適用するかを予め登録し、部品120の種類に応じて適切な検出条件を選択可能に構成することにより、より精度良く部品外接矩形150を検出することができる。
また、本実施形態では、上記のように、ヘッドユニット20に、吸着ノズル22を回転駆動するノズル回転装置(図3参照)を設け、画像認識結果に基づき吸着ノズル22の位置および回転位置を補正して部品120を所定の装着位置において所定の方向に装着するように構成することによって、画像認識結果に基づき、部品外接矩形150として認識した部品120の装着位置に加えて、部品の向き(方向)も補正することができるので、所定の装着位置に所定の方向で、より精度良く移載することができる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
たとえば、上記実施形態では、部品移載装置の一例である表面実装機100に本発明を適用した例を示したが、本発明はこれに限らず、電子部品を検査するための部品試験装置(いわゆるICハンドラー)などの表面実装機以外の部品移載装置にも適用してもよい。また、部品移載装置以外にも、単独の部品認識装置に本発明を適用してもよい。
また、上記実施形態では、画像処理部64により、部品120の画像認識が可能な所定部分の寸法A×Bに基づいて部品認識を行う例を示したが、この部品認識に用いる部品の寸法データは、部品の外形寸法に限らず、外形よりも小さい複数の部分を含む領域の寸法データを用いた場合にも適用可能である。
また、上記実施形態では、部品撮像装置50をヘッドユニット20に設けるとともに移動可能に構成した例を示したが、本発明はこれに限らず、撮像部を固定的に設置してもよい。この場合、撮像部は、たとえば基台1上に、撮像方向を上方に向けて固定的に設置し、吸着ノズル22により部品120を吸着した状態でヘッドユニット20が撮像部の上方に移動することによって、部品120の下面を撮像することが可能である。
また、上記実施形態では、画像処理部64により、撮像画像200からの部品120の部品認識を行うように構成した例を示したが、本発明はこれに限らず、制御装置60の主演算部61が画像処理部64から撮像画像を取得し、部品認識処理を行うように構成してもよい。また、撮像部の制御を行うことなく、部品認識処理のみを行う専用の画像認識部を設けてもよい。
また、上記実施形態では、画像処理部64により、部品120の部品認識と、部品撮像装置50の撮像の制御を行うように構成した例を示したが、本発明はこれに限らず、画像処理部が撮像部の制御のみを行うとともに、撮像部の制御を行うことなく部品認識処理のみを行う専用の画像認識部を設けてもよい。
また、上記実施形態では、部品認識部の一例として制御装置60を示したが、本発明はこれに限らず、表面実装機の制御を行う制御装置とは別に、画像認識部を備えた、部品認識のみを行う専用の部品認識部を設けてもよい。
また、上記実施形態では、部品外接矩形150の候補が複数存在する場合に、第1〜第4の検出条件を適用することにより、部品外接矩形150を検出するように構成した例を示したが本発明はこれに限らず、第1〜第4の検出条件以外の他の検出条件を設定し、部品の種類に応じて適用するようにしてもよい。検出条件の数はいくつでもよい。
また、本実施形態では、部品認識に適用される第1〜第4の検出条件を、部品120の種類に応じて選択する例を示したが、全ての部品について共通の検出条件を適用してもよい。
また、部品認識の際に適用される検出条件が部品120の種類に応じて部品データに予め登録されている例を示したが、本発明はこれに限らず、予め登録しておくことなく、画像処理部64が部品120の形状や他のデータに基づいて、検出条件を選ぶようにしてもよい。
また、上記実施形態では、座標回転の角度θを5度、座標回転の角度範囲を−45度〜+45度の範囲に設定した例を示したが、本発明はこれに限らず、座標回転の角度θを5度より小さい角度、または5度よりも大きい角度に設定してもよい。また、座標回転の角度範囲を、−20度から+20度など−45度〜+45度以外の範囲に設定してもよい。座標回転の角度範囲を、吸着ノズルに吸着される部品が傾いて吸着され得る角度範囲に応じて変えてもよい。この際、座標回転の角度範囲を、部品の種類により変更するように構成してもよい。
また、上記実施形態では、最小X座標および最大X座標の組み合わせにより求まるX座標範囲内において、各画像部分130の最大Y座標および最小Y座標について最小Y座標と最大Y座標との差を求めるように構成した例を示したが、本発明はこれに限らず、最小Y座標および最大Y座標の組み合わせにより求まるY座標範囲内において、各画像部分130の最大X座標および最小X座標について最小X座標と最大X座標との差を求めるようにように構成してもよい。
また、上記実施形態では、得られた外接矩形内に含まれる画像部分130(ノイズ140)のグループを回転させ、矩形の面積が最小となる角度φを求めるとともに、面積が最小となる回転角度φにおける外接矩形の寸法が、部品120の寸法A×Bと一致または近似するか否かが判断されるように構成した例を示したが、本発明はこれに限らず、外接矩形内に含まれる画像部分130(ノイズ140)のグループの回転を行わなくてもよい。座標系の回転を行うことにより、グループの回転を行わない場合でも、検出することができるためである。ただし、グループの回転を行う場合には、予め検出して部品外接矩形の候補となりうる場合に登録しておくことによって、座標系の回転を行う度に同じグループが検出されるのを防止することができる。また、回転角度θを小さく設定した場合には、同じ外接矩形を何度も検出する可能性があるので、同じ外接矩形(グループ)が何度も検出されてしまうのを回避することができる。