JP2017224779A - 実装関連処理装置 - Google Patents

Abstract

【課題】画像データの転送時間をより短縮することができる実装関連処理装置を提供する【課題を解決するための手段】実装装置は、ノズルに吸着された部品の状態に関する画像を撮像し、撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて、部品の画像を含む所定の取込領域を部品の画像が入る位置へ移動させ、取込領域に含まれる画像データを出力する。この実装装置では、例えば、部品の位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域を部品全体の画像が含まれる位置へ移動する。【選択図】図５

Description

本発明は、実装関連処理装置、画像処理方法及びそのプログラムに関し、より詳しくは、部品を基板に実装する処理に関する実装関連処理装置、画像処理方法及びそのプログラムに関する。

従来、実装装置としては、イメージセンサの撮像エリア内に撮像前に予め静止状態にある複数の撮像対象（例えば吸着された部品）の各々に対応した複数の着目エリアを設定し、着目エリアの静止画像データの取得条件を撮像前に予め設定するものが提案されている（例えば、特許文献１参照）。

特許第５５２４４９５号

しかしながら、上述した実装装置では、着目エリアを予め設定するが、撮像対象の位置ずれなどを考慮すると、部品の吸着ずれ量の最大値に、安全を見越したマージンを加えた大きさの着目エリアを設定する必要があった。そしてこのような装置では、画像データの転送量が大きくなり、転送に時間がかかることがあった。

本発明は、このような課題に鑑みなされたものであり、画像データの転送時間をより短縮することができる実装関連処理装置を提供することを主目的とする。

本発明は、上述の主目的を達成するために以下の手段を採った。

本発明の実装関連処理装置は、部品を基板に実装する処理に関する実装関連処理を実行する実装関連処理装置であって、ノズルに吸着された部品の状態に関する画像を撮像する撮像部と、前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品全体の画像が含まれる位置へ移動させる領域設定部と、前記取込領域に含まれる画像データを出力する出力部と、を備えたものである。

この装置は、ノズルに吸着された部品の状態に関する画像を撮像し、撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて、部品の画像を含む所定の取込領域を部品全体の画像が含まれる位置へ移動させる。そして、この装置は、取込領域に含まれる画像データを出力する。この装置では、例えば、部品の位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域を移動するため、取込領域をより小さくすることができる。このため、出力する取込領域の画像データをより小さくすることができる。したがって、この装置では、画像データの転送時間をより短縮することができる。ここで、実装関連処理装置は、例えば、部品を基板に実装する実装装置であるものとしてもよいし、基板に実装された部品の状態を検査する検査装置であるものとしてもよい。

本発明の実装関連処理装置において、前記領域設定部は、前記検出領域に対して二値化処理を行い前記部品の外形を抽出するものとしてもよい。この装置では、比較的簡便な二値化処理によって画像データの転送時間をより短縮することができる。

本発明の実装関連処理装置において、前記取込領域は、前記検出領域以下のサイズであるものとしてもよい。取込領域は、より部品サイズに近く、より狭い領域であることが転送時間の観点からは好ましい。検出領域は、部品の外形を抽出可能な程度の領域であればよく、これも、外形抽出処理の時間の観点からは、より狭い領域であることが好ましい。

本発明の実装関連処理装置において、前記領域設定部は、前記抽出された部品の外形に基づいてサイズを変更して前記取込領域を設定するものとしてもよい。この装置では、取込領域をより小さくすることができ、画像データの転送時間を更に短縮することができる。なお、取込領域の初期値は、部品の大きさに基づいて予め定められたサイズとすることができる。あるいは、本発明の実装関連処理装置において、前記取込領域は、前記撮像される部品のサイズに基づいて設定されているものとしてもよい。

本発明の実装関連処理装置において、前記撮像部は、受光により電荷を発生させ発生した電荷を出力する撮像素子と、出力された電荷に基づいて画像データを生成する画像処理部とを備えており、前記領域設定部は、前記撮像素子から電荷を転送し前記画像処理部が画像を生成する際に前記部品の外形を抽出するものとしてもよい。この装置では、撮像素子からの電荷の転送時に部品の外形を抽出することができるため、画像の撮像から画像データの出力までの処理時間についても、より短縮することができる。

本発明の実装関連処理装置は、部品を基板に実装する実装部と、前記実装部を制御する制御部と、を備え、前記出力部は、前記制御部へ前記画像データを出力するものとしてもよい。こうすれば、撮像部から制御部への画像データの転送時間をより短縮することができる。

実装システム１０の一例を表す概略説明図。 実装装置１１の構成を表すブロック図。 実装ヘッド２２に採取された部品Ｐ１〜Ｐ４の説明図。 画像データ出力処理ルーチンの一例を表すフローチャート。 撮像画像６０の検出領域６１と取込領域６２の説明図。

本発明の好適な実施形態を図面を参照しながら以下に説明する。図１は、実装システム１０の一例を表す概略説明図である。図２は、実装装置１１の構成を表すブロック図である。実装システム１０は、部品Ｐを基板Ｓに実装する処理に関する実装関連処理を実行するシステムである。この実装システム１０は、実装装置１１と、管理コンピュータ５０とを備えている。実装関連処理としては、例えば、基板Ｓに部品Ｐを配置する実装処理、基板Ｓに配置された部品Ｐの状態を検査する検査処理などが含まれる。実装システム１０は、部品Ｐを基板Ｓに実装する実装処理を実施する複数の実装装置１１と、部品Ｐが配置された基板Ｓを検査する図示しない検査装置とが上流から下流に配置されている。図１では、説明の便宜のため実装装置１１を１台のみ示している。なお、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１に示した通りとする。

実装装置１１は、図１、２に示すように、基板搬送ユニット１２と、実装ユニット１３と、部品供給ユニット１４と、撮像ユニット３０と、制御装置４０とを備えている。基板搬送ユニット１２は、基板Ｓの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板搬送ユニット１２は、図１の前後に間隔を開けて設けられ左右方向に架け渡された１対のコンベアベルトを有している。基板Ｓはこのコンベアベルトにより搬送される。

実装ユニット１３は、部品Ｐを部品供給ユニット１４から採取し、基板搬送ユニット１２に固定された基板Ｓへ配置するものである。実装ユニット１３は、ヘッド移動部２０と、実装ヘッド２２と、吸着ノズル２４とを備えている。ヘッド移動部２０は、ガイドレールに導かれてＸＹ方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド２２は、スライダに取り外し可能に装着されており、ヘッド移動部２０によりＸＹ方向へ移動する。実装ヘッド２２の下面には、１以上の吸着ノズル２４が取り外し可能に装着されている。実装ヘッド２２は、Ｚ軸モータを内蔵しており、このＺ軸モータによってＺ軸に沿って吸着ノズル２４の高さを調整する。吸着ノズル２４は、部品Ｐを採取するものであり、図示しない減圧ポンプにより負圧が供給され、この負圧により部品Ｐを吸着保持する。

部品供給ユニット１４は、複数のリールを備え、実装装置１１の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、部品Ｐが長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル２４で吸着される採取位置にフィーダ部により送り出される。

撮像ユニット３０は、実装ヘッド２２に吸着された部品Ｐを撮像するユニットであり、基板搬送ユニット１２と部品供給ユニット１４との間に配設されている。この撮像ユニット３０の撮像範囲は、撮像ユニット３０の上方である。撮像ユニット３０は、撮像素子３１と、領域設定部３２と、画像処理部３３と、出力部３４とを備えている。撮像素子３１は、受光により電荷を発生させ発生した電荷を出力するものである。撮像素子３１は、フォトダイオードを備えたＣＣＤイメージセンサとしてもよいし、ＣＭＯＳイメージセンサとしてもよい。領域設定部３２は、撮像素子３１から画像処理部３３へ入力される電荷に基づいて、画像データの取込領域を設定する処理を行うものである。この領域設定部３２は、二値化処理及び外形抽出処理を電荷転送と並行して行う回路として構成されている。領域設定部３２は、予め定められた検出領域に含まれる画素の電荷と所定の閾値とに基づいて二値化処理を行う。この閾値は、その画素が部品の領域であるか、部品以外の領域であるかを判定可能な値に経験的に求められている。検出領域は、実装ヘッド２２の各吸着ノズル２４の位置及び吸着する部品種に応じてその領域の大きさ及び位置が予め定められている。また、領域設定部３２は、二値化処理の結果に基づいて部品Ｐの外形抽出処理を行う。この領域設定部３２は、撮像された画像中において、検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて部品の画像を含む所定の取込領域をこの部品全体の画像が含まれる位置へ移動させる処理を行う。画像処理部３３は、入力された電荷に基づいて画像データを生成するものである。画像処理部３３は、例えば、暗電流補正、補間演算、色空間変換、ガンマ補正などの処理を行い、画像データを生成する。出力部３４は、生成された画像データの一部又は全部を制御装置４０へ出力するものである。撮像ユニット３０は、部品Ｐを吸着した吸着ノズル２４が撮像ユニット３０の上方を通過する際、吸着ノズル２４に吸着された部品Ｐを撮像し、撮像結果を制御装置４０へ出力する。

制御装置４０は、図２に示すように、ＣＰＵ４１を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するＲＯＭ４２、各種データを記憶するＨＤＤ４３、作業領域として用いられるＲＡＭ４４、外部装置と電気信号のやり取りを行うための入出力インタフェース４５などを備えており、これらはバス４６を介して接続されている。この制御装置４０は、基板搬送ユニット１２、実装ユニット１３、部品供給ユニット１４へ制御信号を出力し、撮像ユニット３０からの画像信号を入力する。

管理コンピュータ５０は、実装システム１０の各装置の情報を管理するコンピュータである。管理コンピュータ５０は、作業者が各種指令を入力するキーボード及びマウス等の入力装置５２と、各種情報を表示するディスプレイ５４とを備えている。管理コンピュータ５０は、記憶部に実装条件情報が記憶されている。実装条件情報には、部品Ｐの形状やサイズ、吸着に用いる吸着ノズル２４などの情報が含まれている。

次に、こうして構成された本実施形態の実装システム１０の動作、まず、実装装置１１の実装処理について説明する。実装処理を開始すると、制御装置４０のＣＰＵ４１は、採取する部品Ｐに応じた吸着ノズル２４を実装ヘッド２２に装着させ、部品供給ユニット１４から部品Ｐを採取するよう実装ユニット１３を制御する。図３は、実装ヘッド２２に採取された部品Ｐ１〜Ｐ４の説明図である。ここでは、実装ヘッド２２が４つの吸着ノズル２４を装着した場合を具体例として説明する。なお、部品Ｐ１〜Ｐ４は、部品Ｐと総称する。次に、ＣＰＵ４１は、実装ヘッド２２が撮像ユニット３０の上方を通過するようヘッド移動部２０を制御し、実装ヘッド２２に吸着保持された部品Ｐを撮像ユニット３０に撮像させる。続いて、ＣＰＵ４１は、撮像ユニット３０の撮像結果に基づいて、部品Ｐの位置や回転角度などを調整し、基板Ｓへ部品Ｐを配置させる。このとき、部品Ｐに変形など異常がある場合は、ＣＰＵ４１は、この部品Ｐを実装に用いずに廃棄する処理を実装ユニット１３に行わせる。ＣＰＵ４１は、このような処理を、基板Ｓへの部品Ｐの配置がすべて終了するまで繰り返し行う。

次に、撮像ユニット３０での画像データの出力処理について説明する。図４は、撮像ユニット３０により実行される画像データ出力処理ルーチンの一例を表すフローチャートである。このルーチンは、制御装置４０からの撮像指令を受けるたびに撮像ユニット３０の各構成（回路）により実行される。このルーチンを開始すると、撮像ユニット３０は、撮像素子３１で撮像処理を行い（ステップＳ１００）、撮像素子３１から電荷を領域設定部３２を介して画像処理部３３へ転送する（ステップＳ１１０）。次に、領域設定部３２は、所定の検出領域の電荷に基づいて二値化処理及び外形抽出処理を実行し（ステップＳ１２０）、取込領域を設定する（ステップＳ１３０）。

図５は、撮像ユニット３０で撮像された撮像画像６０の検出領域６１Ａ〜６１Ｄと取込領域６２Ａ〜６２Ｄの説明図であり、図５（ａ）が二値化処理時の説明図であり、図５（ｂ）が取込領域６２を設定した説明図である。なお、ここでは、検出領域６１Ａ〜６１Ｄを検出領域６１と総称し、取込領域６２Ａ〜６２Ｄを取込領域６２と総称する。また、ステップＳ１１０〜Ｓ１３０では、各画素を構成する電荷が転送されている状態であり、図５に示すような画像データはイメージである。撮像素子３１は、図５の画像を形成する電荷を所定の順番、例えば、左上の画素から右に向かう順で領域設定部３２へ転送する。予め定められた検出領域６１の画素が転送されてくると、これを受けた領域設定部３２は、所定の閾値よりも、この電荷が大きいか否かに基づいて、二値化処理を行い、その結果を信号として出力する。この出力結果が、そのまま、その画素が部品の領域か、それ以外の領域かを示すものとなる。この出力結果により、部品の輪郭、即ち外形抽出を行うことができる。ここで、所定の閾値は、部品の色等に応じて、背景領域と部品領域とを区別することができる値に経験的に定められている。部品の外形を抽出すると、領域設定部３２は、その部品の外形が入るように、取込領域６２の位置を設定する。領域設定部３２は、検出領域６１の内部に部品Ｐが収まっているときには、検出領域６１と同じ位置を取込領域６２に設定する（図５の部品Ｐ１，Ｐ２参照）。また、領域設定部３２は、検出領域６１から部品Ｐがはみ出ているときには、部品Ｐの全体の画像が含まれる領域を取込領域６２に設定する（図５の部品Ｐ３，Ｐ４参照）。

ここで、検出領域６１や取込領域６２について説明する。一般的に、部品Ｐがおおよそどこにあるかを判定するための検出領域は、部品Ｐの吸着ノズル２４への吸着ずれ、回転ずれなどを考慮して、部品Ｐの大きさに対して比較的大きなマージンを設けた大きさに設定される。これに対して、撮像ユニット３０では、制御装置４０へ転送する画像データの領域である取込領域６２を部品Ｐの位置に応じて微小移動させるため、取込領域６２は、マージンをより小さくした領域とすることができる。例えば、部品Ｐの画像が検出領域６１からはみ出たとしても（図５の部品Ｐ３，Ｐ４参照）、検出領域６１に含まれている部分（部品の外形、輪郭）によって、部品Ｐの位置を把握することができる。ここでは、検出領域６１は、部品Ｐの外形を抽出可能な程度の領域として設定されており、検出領域６１と取込領域６２とは同じサイズの領域であるものとし、部品Ｐの全体が入るだけのサイズ（図５参照）とした。

続いて、転送された電荷に基づいて、画像処理部３３は、画像データを生成する（ステップＳ１４０）。画像データは、例えば、ビットマップデータとしてもよいし、ＪＰＥＧデータとしてもよい。そして、出力部３４は、設定された取込領域６２に含まれる画像データと、取込領域６２の移動量とを制御装置４０へ出力し（ステップＳ１５０）、このルーチンを終了する。取込領域６２の移動量は、検出領域６１に対する相対的な移動量としてもよいし、撮像画像６０の基準位置（例えば、画像の左上端部）からの移動量としてもよい。この取込領域６２の移動量と画像データを取得した制御装置４０は、この移動量と画像データにおける部品Ｐの位置から、部品Ｐの吸着ずれ量を求める。また、制御装置４０は、部品Ｐの基準の画像データと取得した画像データとのマッチングを行い、部品Ｐの回転角度や形状異常の有無を判定する。そして、制御装置４０は、実装ヘッド２２に吸着された部品Ｐ１〜Ｐ４が適切に基板Ｓに配置されるよう、回転角度の補正や配置位置の微調整などを実装ヘッド２２に行わせる。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の撮像素子３１及び画像処理部３３が本発明の撮像部に相当し、領域設定部３２が領域設定部に相当し、出力部３４が出力部に相当し、実装ユニット１３が実装部に相当し、制御装置４０が制御部に相当する。なお、本実施形態では、実装装置１１の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。

以上説明した実施形態の実装装置１１の撮像ユニット３０によれば、ノズルに吸着された部品の状態に関する画像を撮像し、撮像された画像中において、検出領域６１に存在する部品Ｐの外形を抽出し、この抽出した部品Ｐの外形に基づいて、部品Ｐの画像を含む取込領域６２を部品Ｐの全体の画像が含まれる位置へ移動させる。そして、撮像ユニット３０は、取込領域６２に含まれる画像データを制御装置４０へ出力する。この撮像ユニット３０では、例えば、部品Ｐの位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域６２を移動するため、取込領域６２をより小さくすることができる。このため、制御装置４０へ出力する取込領域６２の画像データをより小さくすることができる。したがって、撮像ユニット３０では、画像データの転送時間をより短縮することができる。

また、領域設定部３２は、検出領域６１に含まれる範囲で二値化処理を行い部品Ｐの外形を抽出するため、比較的簡便な二値化処理によって画像データの転送時間をより短縮することができる。更に、取込領域６２は、より部品サイズに近い検出領域６１と同じサイズであるため、転送時間の観点からは好ましい。更にまた、領域設定部３２は、撮像素子３１から電荷を転送し画像処理部３３が画像を生成する際に部品Ｐの外形を抽出するため、画像の撮像から画像データの出力までの処理時間についても、より短縮することができる。そしてまた、出力部３４は、制御装置４０へ画像データを出力するため、撮像ユニット３０から制御装置４０への画像データの転送時間をより短縮することができる。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、検出領域６１に対して二値化処理を行うものとしたが特にこれに限定されず、撮像画像６０の全体を二値化処理してもよい。こうしても、撮像ユニット３０は、より小さな取込領域６２の画像データを転送するため、画像データの転送時間をより短縮することはできる。

上述した実施形態では、取込領域６２は、検出領域６１のサイズと同じものとしたが、これに限定されず、例えば、検出領域６１以下のサイズとしてもよい。取込領域６２は、より部品サイズに近く、より狭い領域であることが転送時間の短縮には好ましい。

上述した実施形態では、取込領域６２は、撮像される部品Ｐのサイズに基づいて予め設定されているものとして説明したが、特にこれに限定されず、領域設定部３２は、抽出された部品の外形に基づいてサイズを変更して取込領域６２を設定するものとしてもよい。この領域設定部３２では、取込領域６２を更に小さくすることができ、画像データの転送時間を更に短縮することができる。なお、取込領域６２の初期値は、部品の大きさに基づいて予め定められたサイズ（例えば検出領域６１のサイズ）とすることができる。

上述した実施形態では、撮像素子３１から電荷を転送し画像処理部３３が画像を生成する際に部品の外形を抽出するものとしたが、特にこれに限定されず、画像処理部３３が画像を生成したあとに部品の外形を抽出するものとしてもよい。また、領域設定部３２は、電子回路としてハードウエアで構成されているものとして説明したが、ソフトウエアで構成されているものとしてもよい。この場合、撮像ユニット３０が備えるコントローラがこのソフトウエアを実行するものとしてもよい。この装置においても、画像データの転送時間をより短縮することはできる。

上述した実施形態では、実装ヘッド２２は、４つの吸着ノズル２４を装着するものとして説明したが、特にこれに限定されない。例えば、実装ヘッド２２は、１以上の吸着ノズル２４を備えるものとすればよい。

上述した実施形態では、実装装置１１を本発明の実装関連処理装置として説明したが、部品Ｐの位置や形状を判定するものとすれば特にこれに限定されず、例えば、基板Ｓ上に配置された部品Ｐの位置や形状を検査する検査装置を本発明の実装関連処理装置としてもよい。また、上述した実施形態では、本発明を実装装置１１として説明したが、画像処理方法としてもよいし、このステップをコンピュータが実行するプログラムとしてもよい。

本発明は、部品を基板上に配置する実装関連処理を行う装置に利用可能である。

１０…実装システム、１１…実装装置、１２…基板搬送ユニット、１３…実装ユニット、１４…部品供給ユニット、２０…ヘッド移動部、２２…実装ヘッド、２４…吸着ノズル、３０…撮像ユニット、３１…撮像素子、３２…領域設定部、３３…画像処理部、３４…出力部、４０…制御装置、４１…ＣＰＵ、４２…ＲＯＭ、４３…ＨＤＤ、４４…ＲＡＭ、４５…入出力インタフェース、４６…バス、５０…管理コンピュータ、５２…入力装置、５４… ディスプレイ、６０…撮像画像、６１，６１Ａ〜６１Ｄ…検出領域、６２，６２Ａ〜６２Ｄ…取込領域、Ｐ，Ｐ１〜Ｐ４…部品、Ｓ…基板

Claims (7)

1. 部品を基板に実装する処理に関する実装関連処理を実行する実装関連処理装置であって、
   ノズルに吸着された部品の状態に関する画像を撮像する撮像部と、
   前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品全体の画像が含まれる位置へ移動させる領域設定部と、
   前記取込領域に含まれる画像データを出力する出力部と、
   を備えた実装関連処理装置。
2. 前記領域設定部は、前記検出領域に対して二値化処理を行い前記部品の外形を抽出する、請求項１に記載の実装関連処理装置。
3. 前記取込領域は、前記検出領域以下のサイズである、請求項１又は２に記載の実装関連処理装置。
4. 前記領域設定部は、前記抽出された部品の外形に基づいてサイズを変更して前記取込領域を設定する、請求項１〜３のいずれか１項に記載の実装関連処理装置。
5. 前記取込領域は、前記撮像される部品のサイズに基づいて設定されている、請求項１〜４のいずれか１項に記載の実装関連処理装置。
6. 前記撮像部は、受光により電荷を発生させ発生した電荷を出力する撮像素子と、出力された電荷に基づいて画像データを生成する画像処理部とを備えており、
   前記領域設定部は、前記撮像素子から電荷を転送し前記画像処理部が画像を生成する際に前記部品の外形を抽出する、請求項１〜５のいずれか１項に記載の実装関連処理装置。
7. 請求項１〜６のいずれか１項に記載の実装関連処理装置であって、部品を基板に実装する実装部と、
   前記実装部を制御する制御部と、を備え、
   前記出力部は、前記制御部へ前記画像データを出力する、実装関連処理装置。

Images