JP2022118300A - 部品データ作成支援装置および吸着可能領域推定方法ならびに部品データ作成方法 - Google Patents

Abstract

【課題】部品の上面の撮像画像からノズルに部品を吸着させる領域を自動で決定することができる部品データ作成支援装置および吸着可能領域推定方法ならびに部品データ作成方法を提供する。【解決手段】部品供給装置が供給する部品をノズルが吸着することができる吸着可能領域を推定する吸着可能領域推定方法は、部品供給装置が供給した部品の上面を撮像した撮像画像（撮像画像データ３３）に対して、ノズルが吸着可能な吸着可能領域を教示する教示工程（ＳＴ１）と、撮像画像と教示された吸着可能領域（教示データ３４）とに基づき、学習モデル３５を生成する学習工程（ＳＴ２）と、生成された学習モデル（ＳＴ２）を用いて、一の部品の上面の撮像画像から、一の部品の吸着可能領域を推定する吸着可能領域推定工程（ＳＴ３）と、を含む。【選択図】図９

Description

本発明は、部品実装装置において使用される部品データの作成を支援する部品データ作成支援装置および吸着可能領域推定方法ならびに部品データ作成方法に関する。

部品実装装置は、部品を吸着するノズルの種類、部品に対するノズルの吸着目標位置などの情報を含む部品毎に設定された部品データに基づいて、部品供給装置が供給する部品をノズルで吸着して基板に実装している。部品データは、部品の上面の形状、ノズルの吸着面の形状などに基づいて、生産開始前などに設定される。特許文献１には、部品実装装置によって部品が実装された基板を検査する基板外観検査装置により基板に実装された部品の３次元画像を取得し、部品の吸着面の形状に変化が認められた時に、部品データ（装着使用データ）の修正を案内する基板生産ラインが開示されている。

特開２０１８－１４８００４号公報

ところで、生産で使用される部品データは、製造メーカから提供されるカタログ情報やＣＡＤ情報などから取得される部品の上面の形状とノズルの吸着面の形状から作業者が作成し、吸着テストを実行して決定される。しかしながら、現実の部品の上面にはカタログ情報やＣＡＤ情報に反映されていない凹凸が形成されていることもあり、吸着テストで正常に吸着できなかった場合には、部品の上面をカメラが撮像した撮像画面を見ながら作業者が吸着目標位置を修正したり、ノズルを変更したりする教示作業が必要となり、自動で部品データを作成するには更なる改善の余地があった。

そこで本発明は、部品の上面の撮像画像からノズルに部品を吸着させる領域を自動で決定することができる部品データ作成支援装置および吸着可能領域推定方法ならびに部品データ作成方法を提供することを目的とする。

本発明の部品データ作成支援装置は、部品供給装置が供給する部品をノズルで吸着して基板に実装する部品実装装置において使用される部品データの作成を支援する部品データ作成支援装置であって、部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示部と、前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習部と、生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定部と、を備えた。

本発明の吸着可能領域推定方法は、部品供給装置が供給する部品をノズルが吸着することができる吸着可能領域を推定する吸着可能領域推定方法であって、部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示工程と、前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習工程と、生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定工程と、を含む。

本発明の部品データ作成方法は、部品供給装置が供給する部品をノズルで吸着して基板に実装する部品実装装置において使用される部品データを作成する部品データ作成方法であって、部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示工程と、前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習工程と、生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定工程と、前記一の部品の吸着に使用する可能性がある複数のノズルのノズル情報と、推定された前記一の部品の吸着可能領域に基づいて、前記一の部品の吸着に使用するノズルを選択するノズル選択工程と、を含む。

本発明によれば、部品の上面の撮像画像からノズルに部品を吸着させる領域を自動で決定することができる。

本発明の一実施の形態の部品実装システムの構成説明図 本発明の一実施の形態の部品実装装置の構成説明図 本発明の一実施の形態の部品実装装置が備えるテープフィーダの部品供給位置にピッチ送りされた（ａ）部品を基板認識カメラによって撮像する説明図（ｂ）キャリアテープの構造説明図 本発明の一実施の形態の部品実装装置の制御系の構成を示すブロック図 本発明の一実施の形態の部品実装装置において使用される部品データの構成説明図 （ａ）（ｂ）本発明の一実施の形態の部品実装装置が備えるタッチパネルに表示された吸着可能領域入力画面の例を示す図 （ａ）（ｂ）本発明の一実施の形態の部品実装装置が備えるタッチパネルに表示された吸着可能領域入力画面の例を示す図 （ａ）（ｂ）本発明の一実施の形態の部品実装装置が備えるタッチパネルに表示された吸着可能領域入力画面の例を示す図 本発明の一実施の形態の吸着可能領域推定の説明図 （ａ）（ｂ）（ｃ）（ｄ）本発明の一実施の形態のノズル選択の説明図 本発明の一実施の形態の吸着可能領域推定方法のフロー図 本発明の一実施の形態の部品データ作成方法のフロー図

以下に図面を用いて、本発明の一実施の形態を詳細に説明する。以下で述べる構成、形状等は説明のための例示であって、部品実装装置、管理コンピュータの仕様に応じ、適宜変更が可能である。以下では、全ての図面において対応する要素には同一符号を付し、重複する説明を省略する。図２、及び後述する一部では、水平面内で互いに直交する２軸として、基板搬送方向のＸ軸（図２における紙面垂直方向）、基板搬送方向に直交するＹ軸（図２における左右方向）が示される。図２、及び後述する一部では、水平面と直交する高さ方向としてＺ軸（図２における上下方向）が示される。

まず図１を参照して、部品実装システム１の構成を説明する。部品実装システム１は、複数の部品実装装置Ｍ１～Ｍ３を連結して構成されている。部品実装装置Ｍ１～Ｍ３は、通信ネットワーク２を介して管理コンピュータ３に接続されている。管理コンピュータ３は、部品実装システム１による実装基板の生産を管理する他、後述する部品実装装置Ｍ１～Ｍ３で使用する部品データの作成を支援する。なお、部品実装システム１が備える部品実装装置Ｍ１～Ｍ３は３台に限定されることなく、１台、２台でも、４台以上でもよい。

次に図２を参照して、部品実装装置Ｍ１～Ｍ３の構成を説明する。部品実装装置Ｍ１～Ｍ３は同様の構成をしており、以下、部品実装装置Ｍ１について説明する。部品実装装置Ｍ１は、基板Ｂに部品Ｄを装着する機能を有している。基台４の上面に設けられた基板搬送機構５は、基板ＢをＸ軸に沿って搬送して位置決めして保持する。基台４の上方に設けられたヘッド移動機構６は、プレート６ａを介して着脱可能に装着された実装ヘッド７を水平方向（Ｘ軸方向、Ｙ軸方向）に移動させる。実装ヘッド７の下端には、ノズル８が着脱可能に装着される。

基板搬送機構５の側方で基台４に結合された台車１０の上部のフィーダベース１０ａには、複数のテープフィーダ９がＸ軸に沿って並んで装着されている。台車１０には、部品実装装置Ｍ１に供給される部品Ｄを格納するキャリアテープ１１が、リール１２に巻回収納されて保持されている。テープフィーダ９に挿入されたキャリアテープ１１はピッチ送りされて、キャリアテープ１１に格納されている部品Ｄがテープフィーダ９の上部に設けられた部品供給位置９ａに順に供給される。

図２において、部品実装動作では、実装ヘッド７は、ヘッド移動機構６によりテープフィーダ９の上方に移動し、テープフィーダ９の部品供給位置９ａに供給された部品Ｄをノズル８により真空吸着してピックアップする（矢印ａ）。部品Ｄを保持した実装ヘッド７は、ヘッド移動機構６により基板搬送機構５に保持された基板Ｂの上方に移動し、基板Ｂ上の所定の部品実装位置Ｂａに部品Ｄを実装する（矢印ｂ）。

図２において、プレート６ａには、光軸をＺ軸の負方向（下方）に向けた基板認識カメラ１３が取り付けられている。基板認識カメラ１３は、ヘッド移動機構６により実装ヘッド７と一体的にＸ軸の正負方向、Ｙ軸の正負方向に移動する。実装ヘッド７が移動することにより、基板認識カメラ１３は基板搬送機構５に位置決めされた基板Ｂの上方に移動し、基板Ｂに設けられた基板マーク（図示省略）を撮像する。また、基板認識カメラ１３は、テープフィーダ９の上方に移動し、部品供給位置９ａに供給された部品Ｄを上方から撮像する。

基板搬送機構５とテープフィーダ９の間の基台４の上面には、光軸をＺ軸の正方向（上方）に向けた部品認識カメラ１４が取り付けられている。部品認識カメラ１４は、部品Ｄをピックアップしたノズル８が上方を通過する際に、ノズル８に保持された部品Ｄを撮像する。部品認識カメラ１４による撮像結果からは、ノズル８に対する吸着された部品Ｄの位置ずれ量が算出される。実装ヘッド７による基板Ｂへの部品実装動作においては、部品認識カメラ１４による部品Ｄの撮像結果と、基板認識カメラ１３による基板位置の撮像結果とを加味して実装位置の補正が行われる。

図２において、部品実装装置Ｍ１の前面で作業者が作業する位置には、作業者が操作するタッチパネル１５が設置されている。タッチパネル１５は、その表示部に各種情報を表示し、また表示部に表示される入力部である操作ボタンなどを使って作業者がデータ入力や部品実装装置Ｍ１の操作を行う。このように、テープフィーダ９は、ノズル８が吸着して基板Ｂに実装する部品Ｄを部品供給位置９ａに供給する部品供給装置である。また、基板認識カメラ１３は、部品供給装置が部品供給位置９ａに供給した部品Ｄの上面を撮像する撮像手段である。

次に図３（ａ）、図３（ｂ）を参照して、基板認識カメラ１３（撮像手段）による部品供給位置９ａに供給された部品Ｄの撮像動作について説明する。図３（ａ）において、テープフィーダ９（部品供給装置）の上部には、キャリアテープ１１を上方からガイドする押え部材１６が配置されている。押え部材１６には、部品供給位置９ａに位置して開口部１６ａが設けられている。

図３（ｂ）は、部品供給位置９ａ付近のキャリアテープ１１を上方から見た状態を示しており、押え部材１６は図示省略している。キャリアテープ１１のベーステープ１１ａには、部品Ｄを格納する凹形状のポケット１１ｂと、キャリアテープ１１をピッチ送りするスプロケット（図示省略）が係合する送り穴１１ｃが等間隔に形成されている。部品Ｄを収納したポケット１１ｂの上面には、カバーテープ１１ｄが貼着されている。

図３（ａ）において、カバーテープ１１ｄは開口部１６ａの縁部１６ｂで剥離されて折り返される。これによって、部品供給位置９ａを含む下流（図３（ａ）の右側）のポケット１１ｂの上方が開放される。基板認識カメラ１３は、ヘッド移動機構６により部品供給位置９ａの上方に移動して（矢印ｃ）、開口部１６ａを通して部品供給位置９ａのポケット１１ｂに格納された部品Ｄの上面を撮像する。

次に図４を参照して、部品実装装置Ｍ１～Ｍ３の制御系の構成を部品実装装置Ｍ１～Ｍ３において使用される部品データの作成を支援する機能を中心に説明する。部品実装装置Ｍ１～Ｍ３は同様の構成をしており、以下、部品実装装置Ｍ１について説明する。部品実装装置Ｍ１は、制御装置２０、基板搬送機構５、ヘッド移動機構６、実装ヘッド７、テープフィーダ９、基板認識カメラ１３、部品認識カメラ１４、タッチパネル１５を備えている。

制御装置２０は、記憶部２１、実装制御部２２、撮像処理部２３、教示部２４、学習部２５、吸着可能領域推定部２６、ノズル選択部２７、部品データ作成部２８を備えている。記憶部２１は記憶装置であり、実装データ２９、部品ライブラリ３０、ノズルデータ３１、実装実績データ３２、撮像画像データ３３、教示データ３４、学習モデル３５、推定データ３６などが記憶されている。

実装データ２９には、基板Ｂに実装される部品Ｄの部品の種類（部品コード）、基板Ｂにおける部品実装位置Ｂａの座標などの各種情報が、生産する実装基板の基板種ごとに記憶されている。部品ライブラリ３０には、部品の種類と、部品実装装置Ｍ１～Ｍ３において当該部品を実装する各種の作業を精細に制御するための動作パラメータを関連付けた複数の部品データが記憶されている。

ここで図５を参照して、部品ライブラリ３０に含まれる部品データ４０の例について説明する。部品データ４０は、部品データ４０に含まれる部品コード４１と実装データ２９に含まれる部品コードによって、実装データ２９に関連付けされる。部品データ４０は、部品情報４２と動作パラメータ４３より構成される。さらに、部品情報４２は、形状図４４、サイズデータ４５、部品パラメータ４６より構成される。形状図４４は対象となる部品の外形を図示する。サイズデータ４５は、当該部品のサイズ情報、すなわち、外形寸法、リード数、リードピッチ、リード長さ、リード幅、部品高さなどを数値データで示す。

部品パラメータ４６は当該部品についての属性情報であり、部品自体に関する情報である部品属性４７および当該部品をテープフィーダ９により供給するためのキャリアテープ１１に関する情報であるテープ情報４８を含んでいる。部品属性４７では、部品の極性、極性マーク、マーク位置、部品種別、形状種別、および価格情報が示されている。テープ情報４８には、キャリアテープのテープ素材、キャリアテープの幅寸法を示すテープ幅、テープ送りピッチを示す送り間隔、キャリアテープを画像認識の対象とする際の特性と関連した情報である色・材質情報が含まれている。

図５において、動作パラメータ４３は、当該部品を部品実装装置Ｍ１～Ｍ３による部品実装作業の対象とする際の動作態様を規定するマシンパラメータである。ここに示す例では、部品実装装置Ｍ１～Ｍ３の種類を示す機種４３ａ、当該部品の吸着に使用されるノズル８の種類を示すノズル設定４３ｂが含まれている。さらに、動作パラメータ４３には、スピードパラメータ４３ｃ、認識４３ｄ、ギャップ４３ｅ、吸着４３ｆ、装着４３ｇなどが含まれている。

スピードパラメータ４３ｃには、ノズル８によって当該部品を吸着する際の吸着速度、実装ヘッド７によって当該部品を移送する際の実装速度、テープフィーダ９によってキャリアテープ１１を送る際のテープ送り速度が含まれている。認識４３ｄは部品認識の態様を規定するパラメータであり、使用される部品認識カメラ１４の種類を示すカメラ種別、撮像時の照明形態を示す照明モード、撮像時のノズル８の移動速度である認識速度が含まれている。

図５において、ギャップ４３ｅには、ノズル８によって当該部品を吸着する際の吸着ギャップ、保持した当該部品を基板Ｂに搭載する際の実装ギャップが含まれる。吸着４３ｆは、ノズル８による当該部品の吸着時のオフセット量を示す吸着位置オフセットや、吸着角度を規定する。すなわち、吸着４３ｆには、ノズル８に当該部品を吸着させる位置（吸着位置オフセット）に関する情報が含まれている。装着４３ｇは、ノズル８に保持した当該部品を基板Ｂに装着する際の押圧荷重を規定する。

図４において、ノズルデータ３１には、部品実装作業に使用されるノズル８の種類毎に、吸着面の形状を含むノズル８の形状に関する情報、装着可能な実装ヘッド７を特定する情報などを含むノズル情報が記憶されている。すなわち、ノズルデータ３１には、複数のノズル８のノズル情報が記憶されてる。実装実績データ３２には、部品実装作業で使用されたノズル８の種類と部品Ｄを吸着したノズル８に対する吸着された部品Ｄの位置ずれ量の実績、ノズル８が部品Ｄを正常に吸着することができなかった吸着ミスの記録などの履歴情報が記憶されている。

実装制御部２２は、実装データ２９、部品ライブラリ３０、ノズルデータ３１に基づいて、テープフィーダ９が供給する部品Ｄを実装ヘッド７が有するノズル８により取り出して、基板Ｂの部品実装位置Ｂａに実装する部品実装作業を実行させる。撮像処理部２３は、部品実装作業中に部品Ｄを保持したノズル８を部品認識カメラ１４の上方を移動させながら、ノズル８に保持された部品Ｄを部品認識カメラ１４によりスキャン撮像させて部品Ｄの位置ずれ量を算出する。

また、撮像処理部２３は、生産開始や部品データ４０を作成する際などに、基板認識カメラ１３をテープフィーダ９の上方に移動させて、部品供給位置９ａに供給された部品Ｄの上面を撮像する。撮像処理部２３は、撮像した部品Ｄを特定する情報を撮像画像に関連付けて撮像画像データ３３として記憶部２１に記憶させる。

図４において、教示部２４は、タッチパネル１５にノズル８が部品Ｄの上面を吸着可能な吸着可能領域を作業者が教示するための吸着可能領域入力画面を表示させて、吸着可能領域の入力を受け付ける。また、教示部２４は、入力された吸着可能領域に部品Ｄを特定する情報と撮像画像を関連付けて教示データ３４として記憶部２１に記憶させる。または、教示部２４は、撮像画像データ３３、部品ライブラリ３０、ノズルデータ３１、実装実績データ３２に基づいて、自動で吸着可能領域を作成して、部品Ｄを特定する情報と撮像画像に関連付けて教示データ３４として記憶させる。

ここで、図６（ａ）を参照して、タッチパネル１５に表示された吸着可能領域入力画面５０の例について説明する。吸着可能領域入力画面５０には、画像表示枠５１、部品名表示欄５２、使用ノズル表示欄５３、吸着角度表示欄５４、部品切替ボタン５５、ノズル吸着面表示ボタン５６、正常吸着表示ボタン５７、吸着不良表示ボタン５８、ティーチボタン５９、位置調整ボタン６０、上下幅調整ボタン６１、左右幅調整ボタン６２、決定ボタン６３が表示されている。画像表示枠５１には、撮像画像データ３３に含まれる部品Ｄの撮像画像のうち、基板Ｂに実装された実績がある部品Ｄがテープフィーダ９の部品供給位置９ａに供給されて撮像された撮像画像が表示される。部品名表示欄５２には、画像表示枠５１に表示されている部品Ｄの部品名（種類）が表示される。

部品切替ボタン５５を操作することで、画像表示枠５１に表示される部品Ｄの撮像画像と部品名表示欄５２に表示される部品Ｄの部品名が切り替えられる。図６（ａ）では、部品名が「Ｄ２」の部品（以下「部品Ｄ２」と称する。）が選択されている。すなわち、画像表示枠５１の中には、キャリアテープ１１のポケット１１ｂと、その中に格納されている部品Ｄ２が表示されている。部品Ｄ２は、略直方体の本体部Ｄａと３つの端子Ｄｂを有している。端子Ｄｂの一部は、部品Ｄ２の略矩形の上面に侵入している。

図６（ａ）において、使用ノズル表示欄５３には、部品Ｄ２を基板Ｂに実装する際に使用されたノズル８を特定する情報（ノズルの種類）が表示されている。吸着角度表示欄５４には、部品Ｄ２を吸着した際のノズル８の吸着角度が表示されている。

図６（ｂ）は、図６（ａ）に示す吸着可能領域入力画面５０においてノズル吸着面表示ボタン５６が操作された吸着可能領域入力画面６４を示している。ノズル吸着面表示ボタン５６が操作されると、教示部２４は、部品Ｄ２を吸着した際の指定位置と吸着角度で画像表示枠５１にノズル８の吸着面８ａを重ねて表示させる。

図７（ａ）は、図６（ａ）に示す吸着可能領域入力画面５０において正常吸着表示ボタン５７が操作された吸着可能領域入力画面６５を示している。正常吸着表示ボタン５７が操作されると、教示部２４は、実装実績データ３２に含まれる部品Ｄ２をノズル８が吸着した際の履歴情報のうち、吸着ミスなく基板Ｂに実装できた場合のノズル８の中心の位置６６（位置ずれ量の実績）を画像表示枠５１に白丸で表示させる。さらに、教示部２４は、吸着できたノズル８の中心の位置６６から算出されるノズル８の外周の包絡線６７を画像表示枠５１に表示させる。これにより、作業者はノズル８が部品Ｄ２の上面を吸着した実績のある領域（包絡線６７の内部）を視覚的に確認することができる。

図７（ｂ）は、図６（ａ）に示す吸着可能領域入力画面５０において吸着不良表示ボタン５８が操作された吸着可能領域入力画面６８を示している。吸着不良表示ボタン５８が操作されると、教示部２４は、実装実績データ３２に含まれる部品Ｄ２をノズル８が吸着した際の履歴情報のうち、吸着ミスで部品Ｄに実装できなかった場合のノズル８の中心の位置６９（位置ずれ量の実績）を画像表示枠５１に「×」印で表示させる。

さらに、教示部２４は、吸着ミスしたノズル８の中心の位置６９から算出されるノズル８の外周の包絡線７０を画像表示枠５１に表示させる。この例では、包絡線７０は左右で部品Ｄ２の端子Ｄｂに重なっており、上下で部品Ｄ２の本体部Ｄａからはみ出している。これにより、作業者はノズル８が部品Ｄ２の上面を吸着できなかった吸着不良が、位置ずれしたノズル８の吸着面８ａが端子Ｄｂに重なったり本体部Ｄａからはみ出したりしたことが原因であると視覚的に推測することができる。

図８（ａ）は、図６（ａ）に示す吸着可能領域入力画面５０においてティーチボタン５９が操作された吸着可能領域入力画面７１を示している。ティーチボタン５９が操作されると、教示部２４は、画像表示枠５１に部品Ｄ２の上面をノズル８が吸着可能な吸着可能領域７２を表示させる。図８（ａ）では、ノズル８が部品Ｄ２を吸着する際の指定位置（部品Ｄ２の中心から吸着位置オフセットだけずれた位置）に中心があるノズル８の吸着面８ａの外形に基づく吸着可能領域７２が表示されている。

図８（ｂ）は、図８（ａ）に示す吸着可能領域入力画面７１において、作業者が位置調整ボタン６０、上下幅調整ボタン６１、左右幅調整ボタン６２を操作して吸着可能領域７４の位置、サイズを変更した吸着可能領域入力画面７３を示している。位置調整ボタン６０が操作されると、教示部２４は、画像表示枠５１において吸着可能領域７４を上下左右に移動させる。上下幅調整ボタン６１が操作されると、教示部２４は、吸着可能領域７４の上下の大きさ（幅）を変更させる。左右幅調整ボタン６２が操作されると、教示部２４は、吸着可能領域７４の左右の大きさ（幅）を変更させる。

作業者は、図７（ａ）の吸着可能領域入力画面６５に表示されるノズル８が吸着した実績がある包絡線６７や、図７（ｂ）の吸着可能領域入力画面６８に表示されるノズル８が吸着できなかった実績がある包絡線７０を参照しながら、吸着可能領域７４を設定する。決定ボタン６３が操作されると、教示部２４は、画像表示枠５１に表示されている部品Ｄ２の撮像画像、設定された吸着可能領域７４に部品Ｄ２を特定する情報を関連付けて教示データ３４として記憶部２１に記憶させる。なお、教示部２４は、吸着可能領域を自動で作成する場合は、実装実績データ３２に基づいて、部品Ｄ２を吸着ミスなく吸着できた実績があるノズル８の外周の包絡線６７（図７（ａ））の内部を吸着可能領域として教示データ３４に記憶させる。

このように、タッチパネル１５は、部品Ｄ２の撮像画像を表示する表示部である。タッチパネル１５は、部品Ｄ２の撮像画像に、部品Ｄ２を吸着した実績があるノズル８が部品Ｄ２を吸着する領域（吸着面８ａ）を重ねて表示する（図６（ｂ））。また、タッチパネル１５は、部品Ｄ２を吸着したノズル８に対する吸着された部品Ｄ２の位置ずれ量の実績（ノズル８の中心の位置６６）を重ねて表示する（図７（ａ））。また、タッチパネル１５は、部品Ｄ２を吸着できなかった実績があるノズル８が部品Ｄ２を吸着しようとした領域（ノズル８の外周の包絡線７０）を重ねて表示する（図７（ｂ））。

また、タッチパネル１５は、表示部に表示された部品Ｄ２の撮像画像に対して部品Ｄ２の吸着可能領域７４を入力する入力部である。そして、教示部２４は、テープフィーダ９（部品供給装置）が供給した部品Ｄ２の上面を撮像した撮像画像に対して、ノズル８が吸着可能な吸着可能領域７４を教示する。すなわち、教示部２４が部品Ｄ２の上面の撮像画像に対してノズル８が吸着可能な吸着可能領域７４を教示する教示工程には、部品Ｄ２の撮像画像を表示部（タッチパネル１５）に表示する表示工程と、表示部に表示された部品Ｄ２の撮像画像に対して部品Ｄ２の吸着可能領域を入力する入力工程と、が含まれている。

図４において、学習部２５は、教示データ３４に含まれる部品の撮像画像と教示された吸着可能領域を教師データとして、後述する新しい部品の吸着可能領域を推定する学習モデル３５を、機械学習等を用いた学習アルゴリズムにより生成する。学習アルゴリズムとしては、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）等を使用し得る。生成された学習モデル３５は、記憶部２１に記憶される。

ここで、図９を参照して、基板Ｂに実装された実績がない新しい部品Ｄ９９の吸着可能領域を作成する吸着可能領域推定処理について説明する。まず、教示部２４は、部品ライブラリ３０、ノズルデータ３１、実装実績データ３２、撮像画像データ３３に基づいて、テープフィーダ９（部品供給装置）が供給した部品Ｄ（部品Ｄ１，部品Ｄ２）の上面を撮像した撮像画像に対して、ノズル８が吸着可能な吸着可能領域を教示する（ＳＴ１：教示工程）。教示部２４は、教示された吸着可能領域に部品Ｄを特定する情報と撮像画像を関連付けて教示データ３４として記憶部２１に記憶させる。

次いで学習部２５は、教示データ３４に含まれる撮像画像と教示された吸着可能領域とに基づき、学習モデル３５を生成する（ＳＴ２：学習工程）。作成された学習モデル３５は記憶部２１に記憶される。次いで吸着可能領域推定部２６は、生成された学習モデル３５を用いて、新しい部品Ｄ９９（一の部品）の上面の撮像画像から、新しい部品Ｄ９９の吸着可能領域を推定（推定吸着可能領域を生成）する（ＳＴ３：吸着可能領域推定工程）。生成された推定吸着可能領域は、新しい部品Ｄ９９を特定する情報と撮像画像に関連付けられて、推定データ３６として記憶部２１に記憶される。

図９の例では、吸着可能領域推定部２６は、学習モデル３５を用いて、撮像画像データ３３に含まれる新しい部品Ｄ９９の撮像画像から、推定吸着可能領域を生成して（ＳＴ３）、推定データ３６に記憶している。

図４において、ノズル選択部２７は、推定データ３６に含まれる新しい部品Ｄ９９の推定吸着可能領域の情報と、ノズルデータ３１に含まれる複数の種類のノズル８の吸着面８ａの形状に基づいて、部品Ｄ９９を吸着するのに使用するノズル８を選択する。

ここで、図１０を参照して、ノズル選択部２７によるノズル８の選択方法について説明する。図１０（ａ）は、推定データ３６に含まれている吸着可能領域推定部２６により推定された部品Ｄ９９の吸着可能領域７５（推定吸着可能領域）を部品Ｄ９９の撮像画像に重ねて表示している。部品Ｄ９９は、略直方体の本体部Ｄｃの４辺からリードＤｄ（電極）が突出した形状をしている。また、部品Ｄ９９の本体部Ｄｃの上面には、部品Ｄ９９の向きを示す凹部Ｄｅ（極性マーク）が上面の隅に１つ形成されている。ノズル８の吸着面８ａが凹部Ｄｅに重なると吸着ミスが発生する恐れがあるため、凹部Ｄｅの周辺は吸着可能領域７５から除外されている。

ノズル選択部２７は、部品Ｄ９９の吸着可能領域７５（推定された一の部品の吸着可能領域）にノズル８の吸着面８ａが収まるノズルを選択する。図１０（ｂ）は、部品Ｄ９９にノズル選択部２７により選択されたノズルＮ１の吸着面を重ねて表示している。ノズルＮ１の吸着面は、吸着可能領域７５に収まっている。図１０（ｃ）は、選択されなかった横に長いノズルＮ２の吸着面を部品Ｄ９９に重ねて表示している。ノズルＮ２の左右端部は、部品Ｄ９９の本体部Ｄｃからはみ出している。図１０（ｄ）は、選択されなかった大口径のノズルＮ３の吸着面を部品Ｄ９９に重ねて表示している。ノズルＮ３は、部品Ｄ９９の本体部Ｄｃ内ではあるが、凹部Ｄｅ付近で吸着可能領域７５からはみ出している。

このように、ノズル選択部２７は、新しい部品Ｄ９９（一の部品）の吸着に使用する可能性がある複数のノズル８のノズル情報（ノズルデータ３１）と、吸着可能領域推定部２６が推定した部品Ｄ９９の吸着可能領域７５に基づいて、部品Ｄ９９の吸着に使用するノズルＮ１を選択する。

図４において、部品データ作成部２８は、推定された部品Ｄ９９（一の部品）の吸着可能領域７５と、選択されたノズルＮ１のノズル情報（ノズルデータ３１）に基づいて、ノズルＮ１に部品Ｄ９９を吸着させる位置に関する情報を含む部品データ４０を作成する。図１０（ｂ）の例では、部品データ作成部２８は、部品Ｄ９９の中心の位置からのノズルＮ１の中心Ｎｃの位置の差である吸着位置オフセット（ノズルＮ１に部品Ｄ９９を吸着させる位置）と吸着角度を動作パラメータ４３の吸着４３ｆの情報とする部品データ４０を作成する。作成された部品Ｄ９９の部品データ４０は、記憶部２１に記憶されている部品ライブラリ３０に追加される。

次に、図１１のフローに沿って、テープフィーダ９（部品供給装置）が供給する部品Ｄをノズル８が吸着することができる吸着可能領域を推定する吸着可能領域推定方法について説明する。以下、図９を参照して説明した吸着可能領域推定処理と同じ工程には同じ符号を付して、詳細な説明は省略する。

まず、吸着可能領域を教示する教示工程（ＳＴ１）が実行される。作業者が吸着可能領域を教示する場合は、教示部２４は、吸着可能領域入力画面（図６～図８参照）をタッチパネル１５（表示部）に表示させ（表示工程）、作業者が吸着可能領域入力画面を操作して吸着可能領域を入力する（入力工程）。教示部２４が自動で吸着可能領域を作成する場合は、教示部２４は、撮像画像データ３３、部品ライブラリ３０、ノズルデータ３１、実装実績データ３２に基づいて、吸着可能領域を作成する。

図１１において、次いで学習工程（ＳＴ２）が実行され、教示データ３４に含まれる撮像画像と教示された吸着可能領域とに基づき、学習モデル３５が生成される。次いで撮像処理部２３は、基板認識カメラ１３に吸着可能領域が推定される新しい部品Ｄ９９の上面を撮像させる（ＳＴ１１：撮像工程）。次いで吸着可能領域推定工程（ＳＴ３）が実行され、学習モデル３５を用いて、部品Ｄ９９の上面の撮像画像から、部品Ｄ９９の吸着可能領域が推定される。

以下、吸着可能領域を推定する対象となる新しい部品Ｄが無くなるまで（ＳＴ１２においてＮｏ）、撮像工程（ＳＴ１１）と吸着可能領域推定工程（ＳＴ３）が繰り返し実行される。このように、本実施の形態の吸着可能領域推定方法は、学習モデル３５を使用することで、新たな部品Ｄの上面の撮像画像からノズル８に部品Ｄを吸着させる領域（吸着可能領域）を自動で決定することができる。

次に図１２のフローに沿って、図１０を参照しながらテープフィーダ９（部品供給装置）が供給する部品Ｄ９９をノズルＮ１で吸着して基板Ｂに実装する部品実装装置Ｍ１～Ｍ３において使用される部品データ４０を作成する部品データ作成方法について説明する。以下、図１１を参照して説明した撮像画像推定方法と同じ工程には同じ符号を付して、詳細な説明は省略する。教示工程（ＳＴ１）から吸着可能領域推定工程（ＳＴ３）までは、吸着可能領域推定方法と同じであり説明を省略する。

新たな部品Ｄ９９の吸着可能領域７５が推定されると（ＳＴ３）、ノズル選択部２７は、部品Ｄ９９の吸着に使用する可能性がある複数のノズル８のノズル情報（ノズルデータ３１）と、推定された部品Ｄ９９の吸着可能領域７５（推定データ３６）に基づいて、部品Ｄ９９の吸着に使用するノズルＮ１を選択する（ＳＴ２１：ノズル選択工程）（図１０（ｂ）参照）。次いで部品データ作成部２８は、推定された部品Ｄ９９の吸着可能な領域（吸着可能領域７５）と、選択されたノズルＮ１のノズル情報に基づいて、ノズルＮ１に部品Ｄ９９を吸着させる位置に関する情報（吸着位置オフセット）を含む部品データ４０を作成する（ＳＴ２２：部品データ作成工程）。作成された部品Ｄ９９の部品データ４０は、部品ライブラリ３０に追加される。

このように、本実施の形態の部品データ作成方法は、学習モデル３５と新たな部品Ｄ９９の上面の撮像画像を使用して吸着可能領域７５を決定し、部品Ｄ９９の部品データ４０を自動で作成することができる。また、部品Ｄ９９の上面の撮像画像を使用することで、カタログ情報やＣＡＤ情報では表現されていなかった部品Ｄ９９の上面の形状も考慮することができる。これにより、最適でないノズル８を選択したり、最適でない吸着位置オフセットを設定したりすることによる、部品実装作業における吸着ミスを防止することができる。

上記説明したように、本実施の形態の部品実装装置Ｍ１～Ｍ３は、テープフィーダ９（部品供給装置）が供給した部品Ｄの上面を撮像した撮像画像（撮像画像データ３３）に対して、ノズル８が吸着可能な吸着可能領域を教示する教示部２４と、撮像画像と教示された吸着可能領域とに基づき、学習モデル３５を生成する学習部２５と、生成された学習モデル３５を用いて、新しい部品Ｄ９９（一の部品）の上面の撮像画像から、部品Ｄ９９の吸着可能領域７５を推定する吸着可能領域推定部２６と、を備えた、部品データ４０の作成を支援する部品データ作成支援装置である。これによって、新しい部品Ｄの上面の撮像画像からノズル８に部品Ｄを吸着させる領域を自動で決定することができる。

なお、教示部２４と学習部２５と吸着可能領域推定部２６を備え、部品データ４０の作成を支援する部品データ作成支援装置は部品実装装置Ｍ１～Ｍ３に限定されることはなく、管理コンピュータ３で構成してもよい。すなわち、管理コンピュータ３が、教示部２４と学習部２５と吸着可能領域推定部２６を備え、部品実装装置Ｍ１～Ｍ３から実装実績データ３２と撮像画像データ３３を収集して、部品データ４０を作成するようにしてもよい。

また上記では、基板認識カメラ１３（撮像手段）が撮像するテープフィーダ９（部品供給装置）が供給した部品Ｄの上面の撮像画像は２次元画像として説明したが、この撮像画像は３次元画像であってもよい。すなわち、基板認識カメラ１３は、２次元画像を撮像するカメラの他、３次元画像を撮像するステレオカメラや３次元センサであってもよい。部品Ｄの上面の３次元の撮像画像を使用することで、学習部２５は吸着可能領域を精度良く推定することができる学習モデル３５を生成することができる。また、吸着可能領域推定部２６は、この学習モデル３５を使用することで、吸着可能領域を精度良く推定することができる。

本発明の部品データ作成支援装置および吸着可能領域推定方法ならびに部品データ作成方法は、部品の上面の撮像画像からノズルに部品を吸着させる領域を自動で決定することができるという効果を有し、部品を基板に実装する分野において有用である。

３ 管理コンピュータ（部品データ作成支援装置）
８、Ｎ１～Ｎ３ ノズル
８ａ 吸着面
９ テープフィーダ（部品供給部）
１５ タッチパネル（表示部、入力部）
４０ 部品データ
７２、７４、７５ 吸着可能領域
Ｂ 基板
Ｄ、Ｄ２、Ｄ９９ 部品
Ｍ１～Ｍ３ 部品実装装置（部品データ作成支援装置）

Claims (14)

1. 部品供給装置が供給する部品をノズルで吸着して基板に実装する部品実装装置において使用される部品データの作成を支援する部品データ作成支援装置であって、
   部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示部と、
   前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習部と、
   生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定部と、を備えた、部品データ作成支援装置。
2. 部品の撮像画像を表示する表示部と、
   前記表示部に表示された前記部品の撮像画像に対して前記部品の吸着可能領域を入力する入力部と、をさらに備えた、請求項１に記載の部品データ作成支援装置。
3. 前記表示部は、前記部品の撮像画像に、前記部品を吸着した実績があるノズルが前記部品を吸着する領域、前記部品を吸着したノズルに対する吸着された前記部品の位置ずれ量の実績、前記部品を吸着できなかった実績があるノズルが前記部品を吸着しようとした領域、のうちの少なくとも１つを重ねて表示する、請求項２に記載の部品データ作成支援装置。
4. 前記一の部品の吸着に使用する可能性がある複数のノズルのノズル情報と、前記吸着可能領域推定部が推定した前記一の部品の吸着可能領域に基づいて、前記一の部品の吸着に使用するノズルを選択するノズル選択部を、さらに備えた、請求項１から３のいずれかに記載の部品データ作成支援装置。
5. 前記ノズル情報には、ノズルの吸着面の形状が含まれており、
   前記ノズル選択部は、推定された前記一の部品の吸着可能領域に前記ノズルの吸着面が収まるノズルを選択する、請求項４に記載の部品データ作成支援装置。
6. 推定された前記一の部品の吸着可能領域と、選択された前記ノズルのノズル情報に基づいて、前記ノズルに前記一の部品を吸着させる位置に関する情報を含む部品データを作成する部品データ作成部を、さらに備えた、請求項４または５に記載の部品データ作成支援装置。
7. 部品供給装置が供給する部品をノズルが吸着することができる吸着可能領域を推定する吸着可能領域推定方法であって、
   部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示工程と、
   前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習工程と、
   生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定工程と、を含む、吸着可能領域推定方法。
8. 前記教示工程は、
   部品の撮像画像を表示部に表示する表示工程と、
   前記表示部に表示された前記部品の撮像画像に対して前記部品の吸着可能領域を入力する入力工程と、をさらに含む、請求項７に記載の吸着可能領域推定方法。
9. 前記表示工程は、前記部品の撮像画像に、前記部品を吸着した実績があるノズルが前記部品を吸着する領域、前記部品を吸着したノズルに対する吸着された前記部品の位置ずれ量の実績、前記部品を吸着できなかった実績があるノズルが前記部品を吸着しようとした領域、のうちの少なくとも１つを重ねて前記表示部に表示する、請求項８に記載の吸着可能領域推定方法。
10. 部品供給装置が供給する部品をノズルで吸着して基板に実装する部品実装装置において使用される部品データを作成する部品データ作成方法であって、
    部品供給装置が供給した部品の上面を撮像した撮像画像に対して、ノズルが吸着可能な吸着可能領域を教示する教示工程と、
    前記撮像画像と教示された前記吸着可能領域とに基づき、学習モデルを生成する学習工程と、
    生成された前記学習モデルを用いて、一の部品の上面の撮像画像から、前記一の部品の吸着可能領域を推定する吸着可能領域推定工程と、
    前記一の部品の吸着に使用する可能性がある複数のノズルのノズル情報と、推定された前記一の部品の吸着可能領域に基づいて、前記一の部品の吸着に使用するノズルを選択するノズル選択工程と、を含む、部品データ作成方法。
11. 前記教示工程は、
    部品の撮像画像を表示部に表示する表示工程と、
    前記表示部に表示された前記部品の撮像画像に対して前記部品の吸着可能領域を入力する入力工程と、をさらに含む、請求項１０に記載の部品データ作成方法。
12. 前記表示工程は、前記部品の撮像画像に、前記部品を吸着した実績があるノズルが前記部品を吸着する領域、前記部品を吸着したノズルに対する吸着された前記部品の位置ずれ量の実績、前記部品を吸着できなかった実績があるノズルが前記部品を吸着しようとした領域、のうちの少なくとも１つを重ねて前記表示部に表示する、請求項１１に記載の部品データ作成方法。
13. 前記ノズル情報には、ノズルの吸着面の形状が含まれており、
    前記ノズル選択工程において、推定された前記一の部品の吸着可能領域に前記ノズルの吸着面が収まるノズルを選択する、請求項１０から１２のいずれかに記載の部品データ作成方法。
14. 推定された前記一の部品の吸着可能な領域と、選択された前記ノズルのノズル情報に基づいて、前記ノズルに前記一の部品を吸着させる位置に関する情報を含む部品データを作成する部品データ作成工程を、さらに含む、請求項１０から１３のいずれかに記載の部品データ作成方法。

Images