JP2005106477A - はんだボール検出方法およびその装置 - Google Patents

Abstract

【課題】 実装基板上に発生するはんだボールを精確に検出するはんだボール検出方法およびその装置を提供する。
【解決手段】 本発明のはんだボール検出装置は、近似関数に基づいたはんだボールのテンプレートを用いるため、はんだボール画像の輝度分布変化に対する平均的な照合となり認識スコアのばらつきが小さくなるため、テンプレートマッチングにおいてその検出判定条件に設定される一致度の低下を最小限にできる。したがって、はんだボールをマッチング演算によって精確に検出することができる。
【選択図】 図２

Description

本発明は、被検査体に付着したはんだボールを検出する方法およびその装置に関し、さらに、プリント基板と表面実装部品とのはんだ付けにおいて発生するはんだボールを検出するはんだボール検出方法およびその装置に関する。

従来、電子部品の小型軽量化によって、その構成要素であるプリント基板の小型化が著しい。そして、プリント基板の小型化に伴うそのプリント基板への実装密度の増大や表面実装部品の小型化によって、実装基板の目視検査が困難になりつつある。特に、プリント基板と表面実装部品とのはんだ付けにおいて発生する不要な球状のはんだ（以下、はんだボールと記載する）は、予期しない短絡不良を招くものであり、上記目視検査で検出することが必要となる。図２０を参照して、はんだ付けにおいて発生するはんだボールについて説明する。なお、図２０は、はんだボールＢを含む実装基板を撮像した基板画像１００の一例を示している。

図２０において、基板画像１００には、プリント基板上の背景パターン１０１、表面実装部品１０２、および表面実装部品１０２を接合するはんだフィレット部１０３が撮像されている。表面実装部品１０２は、一対の電極部１０２ａおよびボディ部１０２ｂを有しており、ボディ部１０２ｂの側面付近にはんだボールＢが発生している。例えば、はんだボールＢは、表面実装部品１０２の電極部１０２ａとフィレット部１０３とのはんだ付け工程で発生するものである。はんだボールＢが発生する主な原因は、クリームはんだ中のはんだ粒子の酸化、リフロー中のクリームはんだの加熱溶融ダレ、およびクリームはんだ中の溶剤の沸騰によるはんだの飛散等が考えられる。したがって、はんだボールＢは、接合部周辺の任意の場所に発生し、その大きさや数も一定ではない。そして、上記はんだボールＢを検出するための外観検査は、上述した表面実装部品１０２の小型化および実装の高密度化に伴って、検査基準の微小化が進んでいる。

このようなはんだボール等の実装基板に不要なはんだ部位を検出するための実装基板検査装置が開発されている（例えば特許文献１参照。）。上記実装基板検査装置は、複数のピンを有する実装部品において、隣り合うピン間を撮像した画像の中間位置に検査ウインドウを設定する。そして、上記実装基板検査装置は、一定角度から証明を照射した場合の上記検査ウインドウ内の濃淡値度数分布を求め、それら濃淡値毎のばらつきが閾値以上の場合に不良（つまり、上記ピン間に不要なはんだ部位がある）、閾値未満の場合に良品と判定する。
特開平６−２８８９３１号公報

しかしながら、上記実装基板検査装置は、上記検査ウインドウ内の濃淡値のみに着目しているため、はんだボールらしき不良の判定のみが可能であり、はんだボールそのものの検出はできない。つまり、上記実装基板検査装置は、判定結果で検出されたはんだ部位をはんだボールであると特定したり、はんだボールの寸法、個数、および発生位置を特定したりすることはできない。特に、はんだボールに対する検査基準を、実装基板上の発生位置やはんだボールの寸法およびその個数等で設定している製造工程においては、これらの検査基準を上記実装基板検査装置に設定することができない。

また、上記実装基板検査装置は、上記検査ウインドウ内の濃淡値のみに着目しているため、その検査ウインドウ内の背景、すなわちプリント基板の配線パターン等が異なると、検査ウインドウ毎に個別の閾値を設定する必要がある。したがって、上記ピン間以外のプリント基板上の領域を検査する場合、多くの検査ウインドウが必要となり、それに伴った閾値の設定に多大な時間を要する。さらに、上記検査ウインドウは、その検査ウインドウ自身の位置精度を必要としており、例えば、検査ウインドウにピンが跨った場合、ピンの濃淡値の影響を受けて判定精度が変化し、誤判定を起こすことが考えられる。

それ故に、本発明の目的は、実装基板上に発生するはんだボールを精確に検出するはんだボール検出方法およびその装置を提供することである。

上記の目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。

本発明のはんだボール検出方法は、検出対象画像（基板画像１００）内に撮像された球状のはんだ（はんだボールＢ）を検出する。はんだボール検出方法は、マッチングテンプレートを作成する工程（ステップＳ１を行う画像処理部１；以下、単にステップ番号のみを示す）、照合処理を行う工程（Ｓ５）、および球状のはんだを検出する工程（Ｓ５）を含む。マッチングテンプレートを作成する工程は、予め撮像された球状のはんだ画像（はんだボール画像ｂ）における輝度分布を所定関数で近似し（Ｓ１５、Ｓ２４、Ｓ３４）、その関数を用いてマッチングテンプレート（ｔ）を作成する（Ｓ１６、Ｓ２５、Ｓ３５）。照合処理を行う工程は、検出対象画像に対してマッチングテンプレートを用いて照合処理を行う（Ｓ５２、Ｓ６３）。球状のはんだを検出する工程は、照合処理の結果、検出対象画像とマッチングテンプレートとの一致度が所定値（最小評価値Ｓ）以上のとき（Ｓ５３、Ｓ６４）、その検出対象画像の位置に対して球状のはんだを検出する（Ｓ５４、Ｓ６５）。

上記マッチングテンプレートを作成する工程は、その外形サイズに応じてランク分けされた球状のはんだ（サイズレンジａ１〜ａｎ）に対して、それぞれランク毎の球状のはんだ画像（はんだボール画像ｂ１１〜ｂｎｍ）における輝度分布を所定関数で近似し、それら関数を用いてそれぞれマッチングテンプレート（ｔ１〜ｔｎ）を作成してもかまわない。この場合、照合処理を行う工程は、検出対象画像に対してそれぞれマッチングテンプレートを用いてそれぞれ照合処理を行う。そして、球状のはんだを検出する工程は、照合処理の結果、検出対象画像とマッチングテンプレートとの一致度が所定値以上のとき、その検出対象画像の位置に対して照合処理を行ったマッチングテンプレートが属するランクが示す外形サイズを有する球状のはんだを検出する。

例えば、所定の関数は、正規分布関数である（Ｓ２４、Ｓ３４）。

また、はんだ色領域を抽出する工程（Ｓ２）およびマスクする工程（Ｓ３）を、さらに含んでもよい。はんだ色領域を抽出する工程は、検出対象画像からはんだ色領域を抽出する。マスクする工程は、検出対象画像に含まれる検出対象外領域（表面実装部品の領域）をマスクする。この場合、照合処理を行う工程は、はんだ色領域が抽出され検出対象外領域がマスクされた検出対象画像に対してマッチングテンプレートを用いて照合処理を行う。一例として、はんだ色領域を抽出する工程は、検出対象画像におけるＲＧＢ値それぞれの差が所定の範囲内にある領域をはんだ色領域として抽出する。

また、マッチングテンプレートを作成する工程は、作成したマッチングテンプレートに対してその中心部に照合演算要素を持たない不感帯領域（γ）を設定（Ｓ３６）してもかまわない。この場合、照合処理を行う工程は、不感帯領域を設定したマッチングテンプレートを用いて検出対象画像に対して照合処理を行う。

また、照合処理を行う工程は、所定の方向（実装方向）に対してマッチングテンプレートを拡大または縮小処理し（Ｓ６２）、その拡大または縮小処理されたマッチングテンプレートを用いて検出対象画像に対して照合処理（Ｓ６３）を行ってもかまわない。

さらに、良否を判定する工程（Ｓ８）を含んでもかまわない。一例として、良否を判定する工程は、球状のはんだを検出する工程で検出された球状のはんだの位置および数を解析し、少なくとも一方に基づいて検出対象画像の良否を判定する。他の例として、良否を判定する工程は、球状のはんだを検出する工程で検出された球状のはんだの外形サイズに基づいて検出対象画像の良否を判定する。

なお、本発明は、上述したはんだボール検出方法を実現するはんだボール検出装置としても適用することが可能である。

本発明のはんだボール検出方法によれば、近似関数に基づいた球状はんだのテンプレートを用いるため、検出対象画像の輝度分布変化に対する平均的な照合となり認識スコアのばらつきが小さくなり、テンプレートマッチングにおいてその検出判定条件に設定される一致度の低下を最小限にできる。したがって、様々な大きさ（直径、高さ等）や形状を有する球状のはんだを、マッチング演算によって精確に検出することができる。また、球状のはんだの検出結果は、その検出位置を把握できるため、球状はんだ発生位置を検出結果として求めることが可能である。また、背景技術で行っていた正確な検査ウインドウの設定等が不要であり、マッチング演算処理を行う時間を短縮しながら正確な判定を行うことができる。

その外形サイズに応じてランク分けされた球状のはんだに応じてマッチングテンプレートを作成する場合、様々な大きさを有する球状のはんだに対して、ランク別に精確にマッチング処理することが可能となり、その検出されたランクから容易に球状はんだのサイズを把握することができる。

また、球状のはんだ画像における輝度分布を正規分布関数で近似する場合、球状はんだの輝度分布の近似に非常に適しており、より現実に近い球状はんだの輝度分布を近似表現できる。したがって、このマッチングテンプレートを用いることによって、より精確な球状はんだの検出を行うことができる。

はんだ色領域を抽出する工程およびマスクする工程さらに含んでいる場合、検出対象画像内における照合対象が削減されるため、照合処理時間を短縮することができる。また、ＲＧＢ値それぞれの差が所定の範囲内にある領域をはんだ色領域として抽出することによって、はんだ色領域を容易に抽出することができる。

マッチングテンプレートに対してその中心部に照合演算要素を持たない不感帯領域を設定する場合、照明条件等によって頭頂部付近が黒く撮像される球状はんだに対してもマッチング照合処理の評価値を低下させずに検出することができる。また、このマッチングテンプレートは、頭頂部付近が黒いものおよび黒くないものに対して共通に用いることができるため、準備するマッチングテンプレートの数およびマッチング照合処理を行う回数の増加は発生しない。

また、所定の方向に対してマッチングテンプレートを拡大または縮小処理し、その拡大または縮小処理されたマッチングテンプレートを用いて検出対象画像に対して照合処理する場合、楕円型の球状はんだを検出することができる。

また、本発明のはんだボール検出装置においても、上述したはんだボール検出方法と同様の効果を得ることができる。

（第１の実施形態）
図１を参照して、本発明の第１の実施形態に係るはんだボール検出装置について説明する。なお、図１は、当該はんだボール検出装置の概略構成を示すブロック図である。

図１において、はんだボール検出装置は、画像処理部１および撮像部２を備えており、ステージ４上に載置された実装基板Ｐを照明３で照射して撮像する。実装基板Ｐには、複数の表面実装部品が実装されている。そして、はんだボール検出装置は、実装基板Ｐを撮像部２で撮像して基板画像を生成し、生成した基板画像を画像処理部１で画像処理することによって、実装基板Ｐ上に発生した不要な球状のはんだ（以下、はんだボールと記載する）を検出する。画像処理部１は、ハードディスク等の記憶装置、ユーザの操作に応答してその操作結果を入力するキーボード等の入力装置、および処理結果を表示する液晶ディスプレイ等の表示装置を備えたコンピュータシステムで構成される。撮像部２は、例えばカラー画像を生成するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラで構成される。

画像処理部１は、テンプレート生成部１１、テンプレート格納部１２、はんだ部抽出部１３、表面実装部品部分マスク部１４、マッチング演算部１５、良否判定部１６、および検査条件設定部１７を含んでいる。そして、撮像部２で撮像された画像データは、テンプレート生成部１１およびはんだ部抽出部１３に入力する。

テンプレート生成部１１は、予め撮像部２で撮像した所定のはんだボール画像を用いて、それらのはんだボール画像の輝度変化を数式化して検出に用いるマッチング用のテンプレート（以下、マッチングテンプレートと記載する）を生成し、テンプレート格納部１２に格納する。はんだ部抽出部１３は、撮像部２で撮像された実装基板Ｐのカラー画像からはんだ色部分を抽出する。表面実装部品部分マスク部１４は、上記カラー画像に対して表面実装部品部分をマスクする。マッチング演算部１５は、はんだ部抽出部１３ではんだ色部分を抽出および表面実装部品部分マスク部１４で表面実装部品部分をマスクした画像と、テンプレート格納部１２に格納されたマッチングテンプレートとの一致度を演算する。検査条件設定部１７は、はんだボール検出結果の良否判定を行う際の指標を設定する。そして、良否判定部１６は、検査条件設定部１７で設定された指標に基づいて、マッチング演算部１５で演算された一致度やその一致位置等の演算結果に対する良否判定を行う。

次に、図２を参照して、はんだボール検出装置の動作について説明する。なお、図２は、はんだボール検出装置が実装基板のカラー画像からはんだボールを検出する動作を示すフローチャートである。

図２において、はんだボール検出装置のテンプレート生成部１１は、予めマッチングテンプレートｔ１〜ｔｎを生成し、それぞれテンプレート格納部１２に格納し（ステップＳ１）、処理を次のステップに進める。このステップＳ１におけるテンプレート作成処理の詳細については、後述する。

次に、はんだボール検出装置の撮像部２は、ステージ４上に載置された実装基板Ｐを撮像し、はんだ部抽出部１３は、撮像部２で撮像されたカラー画像からはんだ色部分のみ抽出した画像を生成し（ステップＳ２）、処理を次のステップに進める。例えば、撮像部２が撮像する実装基板Ｐのカラー画像は、背景技術において図２０を用いて説明した基板画像１００である。以下、説明を具体的にするために、基板画像１００の一例として、プリント基板上の背景パターン１０１、一対の電極部１０２ａおよびボディ部１０２ｂを有する表面実装部品１０２、および表面実装部品１０２を接合するはんだフィレット部１０３が撮像されている。そして、ボディ部１０２ｂの側面付近にはんだボールＢが発生しているとする。なお、はんだボールは、表面実装部品１０２の電極部１０２ａとフィレット部１０３とのはんだ付け工程で、クリームはんだ中のはんだ粒子の酸化、リフロー中のクリームはんだの加熱溶融ダレ、およびクリームはんだ中の溶剤の沸騰によるはんだの飛散等によって発生するものであるため、接合部周辺に発生する場合が多い。したがって、撮像部２は、表面実装部品１０２の周辺を含む領域のみを撮像してもかまわない。

ここで、はんだ部抽出部１３がカラー画像からはんだ色部分のみを抽出する方法について説明する。例えば、はんだ部抽出部１３は、上記実装基板Ｐのカラー画像におけるはんだ色部を、当該カラー画像におけるＲＧＢ輝度値を検出して、それぞれの輝度値の差を用いて抽出する。図２０における図示Ａ−Ａ間のＲＧＢ輝度分布は、図３のようになる。図２０におけるＡ−Ａ間は、背景パターン１０１およびフィレット部１０３を含んでおり、この場合、フィレット部１０３がはんだ色部に相当する。図３に示すように、背景パターンおよびフィレット部に対するＲＧＢ輝度分布を比較すると、フィレット部におけるＲＧＢ輝度値それぞれがほぼ一定範囲に含まれており、背景パターンにおけるＲＧＢ輝度値それぞれが大きく異なっていることがわかる。これは、はんだ色部がグレー色の分布に相当するためである。グレー色は、ＲＧＢ輝度値がモノクロの分布を示し、すなわち、ＲＧＢ輝度値それぞれが等しい値を示す。したがって、ＲＧＢ輝度値それぞれがほぼ一定の範囲に含まれる部位をグレー分布、つまり、はんだ色部分と認識可能である。

しかしながら、実際には照明３からの照明光の影響や、撮像部２が有する特性等の影響によって、はんだ色部分に対してＲＧＢ輝度値それぞれが完全に一致するとは限らない。また、はんだ色部分を判別するためのＲＧＢ輝度値それぞれの閾値を絶対値で与える方式は、ＲＧＢ輝度値それぞれに許容する輝度区間を設定することになるため、上記カラー画像そのものの明るさが変化した場合等に精確に検出できない。したがって、はんだ部抽出部１３は、ＲＧＢ輝度値それぞれの差が所定範囲内にある部分をはんだ色部分として抽出する。つまり、はんだ部抽出部１３は、ＲＧＢ輝度値それぞれの相対的な差を閾値として設定しているため、はんだ色部分の明暗変化の影響を受けず、精確にはんだ色部分を抽出することができる。なお、このような効果を期待しない場合、はんだ部抽出部１３は、他の方式によってはんだ色部を抽出してもかまわない。例えば、はんだ部抽出部１３は、撮像部２が撮像したカラー画像からはんだ色を直接指定することによって、はんだ色部を抽出することができる。

図４は、はんだ部抽出部１３がはんだ色部を抽出した基板画像１００の一例を示している。図４において、はんだ色部を抽出した基板画像１００には、表面実装部品１０２の電極部１０２ａ、フィレット部１０３、およびはんだボールＢの画像が含まれている。図２０で示した画像と比較すると、はんだ色部を抽出した基板画像１００は、実装基板Ｐ上ではんだ色を示すもの以外の背景要素（例えば、背景パターン１０１や表面実装部品１０２のボディ部１０２ｂ）が除かれており、後述するはんだボールＢの探索を容易にしている。なお、はんだ色部を抽出した基板画像１００は、表面実装部品１０２の電極部１０２ａの画像を含んでいるが、一般的に電極部１０２ａがはんだによる接合を容易にするためにはんだメッキ処理が施されているためである。つまり、はんだ色部を抽出した基板画像１００では、フィレット部１０３および電極部１０２ａが共に同色に見えることになるが、図４においては、両者を区別するために斜線領域および塗りつぶし領域として示している。

次に、はんだボール検出装置の表面実装部品部分マスク部１４は、はんだ部抽出部１３によってはんだ色部が抽出された画像から、さらに表面実装部品の画像領域に相当する部分をマスクし（ステップＳ３）、処理を次のステップに進める。上記ステップＳ３は、上述したように表面実装部品１０２の種類によってははんだ色と同等色を有する部位を有していることがあるため、このような部位をマスクしてさらにはんだボールの探索を容易にするために行われる。表面実装部品部分マスク部１４が行うマスク方法は、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データやＮＣ（Ｎｕｍｅｒｉｃａｌ Ｃｏｎｔｒｏｌ）データ等、予め設定されている表面実装部品が実装される領域をマスクしてもいいし、一般的なテンプレートマッチング手法等を用いて表面実装部品自身をマスクしてもかまわない。

次に、はんだボール検出装置のマッチング演算部１５は、当該フローチャートにおける一時変数ｊを１に設定して初期化する（ステップＳ４）。そして、マッチング演算部１５は、表面実装部品部分マスク部１４でマスク処理された画像に対して、テンプレート格納部１２に格納されたテンプレートｔｊを用いたマッチング照合処理を行い、はんだボールを検出して（ステップＳ５）、処理を次のステップに進める。

図５および図６は、表面実装部品部分マスク部１４でマスク処理された基板画像１００に対して、マッチング演算部１５がテンプレートｔｊを用いてマッチング照合処理を行う状態を示している。マスク処理された基板画像１００には、フィレット部１０３およびはんだボールＢの画像が含まれている。そして、はんだボールＢを検出するためのテンプレートｔｊを用いて、マスク処理された基板画像１００を当該画像左上から右方向に向けて順に移動して右端に到達後、当該画像下方向にずらして同様に順に移動しながら、マッチング照合処理によりそれぞれの画像位置で照合を行う（図４の状態）。そして、テンプレートｔｊのはんだボール表面部分がはんだボールＢに重なり、かつ、テンプレートｔｊの背景部分がはんだボールＢの周辺背景部に重なったとき、その一致度が所定の評価値以上に達し、はんだボールＢが検出される（図５の状態）。なお、マッチング演算部１５が行うマッチング照合処理の詳細については、後述する。

次に、マッチング演算部１５は、上記一時変数ｊがテンプレートｔｊをテンプレート格納部１２に格納している数ｎに到達したか否かを判断する（ステップＳ６）。そして、マッチング演算部１５は、一時変数ｊが数ｎに到達していない場合、一時変数ｊを＋１して（ステップＳ７）、上記ステップＳ５に戻って処理を繰り返す。一方、マッチング演算部１５は、一時変数ｊが数ｎに到達している場合、処理を次のステップＳ８に進める。

ステップＳ８において、良否判定部１６は、検査条件設定部１７で設定された指標に基づいて、マッチング演算部１５でマッチング照合処理結果の良否判定を行い、はんだボールの発生状況およびその良否判定結果を画像処理部１の表示装置等に出力し、当該フローチャートによる処理を終了する。

上記マッチング照合結果には、はんだボールを検出する毎に、はんだボールの検出位置やそのサイズ等が蓄積されている。良否判定部１６は、上記マッチング照合結果を用いて、現在撮像対象となっているステージ４上に載置された実装基板Ｐ全体に対して、はんだボールの発生位置、サイズ、および発生数等をそれぞれはんだボールの発生状況として求める。そして、良否判定部１６は、上記はんだボールの発生状況と検査条件設定部１７で設定された指標とを照らし合わせ、上記実装基板Ｐの良否を決定する。ここで、検査条件設定部１７で設定される指標は、製造する実装基板Ｐの要求品質に応じて、様々な条件の設定が可能である。例えば、はんだボール発生位置に対しては、はんだボール発生不可領域を設定してその領域にはんだボールが検出されたとき、実装基板Ｐを不良判定することができる。また、はんだボールサイズに対しては、許容できるはんだボールサイズを設定して、そのサイズ以上のはんだボールが検出されたとき、実装基板Ｐを不良判定することができる。さらに、はんだボール発生数に対しては、所定の数以上のはんだボールが検出されたとき、実装基板Ｐを不良判定することができる。また、これらの条件を組み合わせて良否判定することも可能である。例えば、はんだボール発生位置およびそのサイズを実装基板ＰのＣＡＤデータに照合し、実装基板Ｐにおける実位置に基づいた短絡等の不良発生を検証して、その結果で良否判定することもできる。

次に、図７を参照して、上記ステップＳ１ではんだボール検出装置のテンプレート生成部１１およびテンプレート格納部１２がテンプレートｔ１〜ｔｎを作成し格納する処理について説明する。なお、図７は、テンプレート生成部１１が行うテンプレート作成処理の動作を示すサブルーチンである。

図７において、テンプレート生成部１１は、はんだボール径に対してｎ個のサイズレンジａ１〜ａｎを設定し（ステップＳ１０）、処理を次のステップに進める。上記ステップＳ５のマッチング照合処理において、直径Ｄｍｉｎ〜Ｄｍａｘのはんだボールを検出することを想定する場合、直径Ｄｍｉｎ〜Ｄｍａｘをｎ個のレンジに分割してサイズレンジａ１〜ａｎを設定する。そして、１つのサイズレンジは、そのサイズレンジが示す直径の±１０％程度に設定する。例えば、あるサイズレンジが検出するはんだボールの直径を０．１ｍｍとすると、そのサイズレンジは、０．０９〜０．１１ｍｍとなる。

次に、テンプレート生成部１１は、設定したサイズレンジａ１〜ａｎ毎に、それぞれｍ個のはんだボール画像ｂ１１〜ｂｎｍを作成し（ステップＳ１１）、処理を次のステップに進める。例えば、サイズレンジａ１に対してはんだボール画像ｂ１１〜ｂ１ｍが作成されるが、はんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１に属する直径を有するｍ個のはんだボールをそれぞれ撮像部２で撮像することによって生成される。そして、撮像されたはんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１の直径範囲でできるだけバリエーションに富んだ画像が好ましい。ここで、図８に示すように、はんだボールは、同じ直径であっても、完全な球形であるとは限らず、はんだボールの発生位置およびはんだボールの高さ等の影響で必ずしも同じ輝度変化とならないことがある。したがって、上記バリエーションは、このようなはんだボールの変化をできるだけ含めるように設定され、これらのバリエーションを含むｍ個のはんだボール画像を用いることによって、上述したはんだボールの変化を吸収できるマッチングテンプレートを作成できる。

次に、テンプレート生成部１１は、当該サブルーチンの一時変数ｉを１に設定して初期化する（ステップＳ１２）。そして、テンプレート生成部１１は、サイズレンジａｉに属するはんだボール画像ｂｉ１〜ｂｉｍを用いてそれらの輝度平均画像ｃｉを作成する（ステップＳ１３）。そして、テンプレート生成部１１は、輝度平均画像ｃｉにおけるボール断面（はんだボールの中心を通る直線）に対する輝度分布を所定数に分割して（ステップＳ１４）、それらの分割点を通る近似関数を演算し（ステップＳ１５）、処理を次のステップに進める。上記ステップＳ１５で用いられる近似関数は、例えば、スプライン関数、ラグランジュ多項式、ステップ関数等である。図９は、輝度分布を最も単純なステップ関数で近似した一例である。ステップ関数で近似された近似曲線は、ボール表面に相当する区間αとボール周辺に相当する区間βとによって輝度分布を近似している。

次に、テンプレート生成部１１は、上記ステップＳ１５で演算された近似曲線をその輝度軸に対して回転させてマッチングテンプレートｔｉを作成し（ステップＳ１６）、処理を次のステップに進める。図１０は、図９で説明した近似曲線を用いて作成したマッチングテンプレートｔｉの一例である。図９で示すように、マッチングテンプレートｔｉは、ボール表面に相当する区間αによって生成された領域（図示中央部の空白領域）とボール周辺に相当する区間βによって生成された領域（図示塗りつぶし領域）とが形成される。そして、マッチングテンプレートｔｉのうち、区間αによって生成された領域がはんだボール表面部分と照合する画像となり、区間βによって生成された領域がはんだボール周辺背景部分と照合する画像となる。なお、マッチングテンプレートｔｉは、平均輝度分布ｃｉのボール断面の輝度分布を近似し、その近似曲線の輝度軸を中心に回転させて作成されたが、他の方法で作成してもかまわない。例えば、平均輝度分布ｃｉを複数のボール断面（はんだボールの中心を通る複数の直線）に対する輝度分布を用いて、それぞれ同じ近似関数で近似し、それらを組み合わせることによっても同様のマッチングテンプレートｔｉを得ることができる。

次に、テンプレート生成部１１は、上記ステップＳ１６で作成したテンプレートｔｉをテンプレート格納部１２に格納し（ステップＳ１７）、一時変数ｉが上記ステップＳ１０で設定されたサイズレンジの数ｎに到達したか否かを判断する（ステップＳ１８）。そして、テンプレート生成部１１は、一時変数ｉが数ｎに到達している場合、当該サブルーチンによる処理を終了し、一時変数ｉが数ｎに到達していない場合、一時変数ｉを＋１して（ステップＳ１９）、上記ステップＳ１３に戻って処理を繰り返す。これらの処理を繰り返すことによって、テンプレート生成部１１は、ｎ個のマッチングテンプレートｔ１〜ｔｎを作成し、それぞれテンプレート格納部１２に格納する。

次に、図１１を参照して、マッチング演算部１５が行う上記ステップＳ５のテンプレートｔｊによるマッチング照合処理について説明する。なお、図１１は、マッチング演算部１５が行うテンプレートｔｊによるマッチング照合処理の動作を示すサブルーチンである。

図１１において、マッチング演算部１５は、テンプレート格納部１２に格納されているマッチングテンプレートｔｊに対する最小評価値Ｓｊを設定し（ステップＳ５１）、処理を次のステップに進める。最小評価値Ｓｊは、後述するステップＳ５３においてマッチングテンプレートｔｊと基板画像１００に含まれるはんだボール画像との一致を判定するための閾値である。例えば、実物画像テンプレートと上記はんだボール画像との一致を判定する場合、上述したようにはんだボール画像の輝度分布が一定ではないため、認識スコアに大きなばらつきが生じる。例えば、両者の完全な一致や高い一致度を検出判定条件にすると、はんだボール画像を見逃すことが多くなり、低い一致度を検出判定条件にすると、はんだボール画像以外の画像をはんだボールとして検出する誤検出が多くなる。したがって、実物画像テンプレートを用いた検出判定条件の設定は、極めて困難である。一方、近似関数に基づいたテンプレートを用いる場合、上記はんだボール画像の輝度分布変化に対して平均的な照合を行えるため、認識スコアのばらつきが小さい。したがって、近似関数に基づいたテンプレートとはんだボール画像とのテンプレートマッチングでは、その検出判定条件に設定される一致度の低下を最小限にできる。上記ステップＳ５１では、このような検出判定条件が、最小評価値Ｓｊに設定される。

次に、マッチング演算部１５は、表面実装部品部分マスク部１４でマスク処理された基板画像１００における所定の位置に対して、マッチングテンプレートｔｊによるテンプレートマッチング処理を行い（ステップＳ５２）、その一致度が最小評価値Ｓｊ以上か否かを判断する（ステップＳ５３）。そして、マッチング演算部１５は、最小評価値Ｓｊ以上の場合、その位置でサイズレンジａｊのはんだボールが検出されたと判断して、基板画像１００に対する検出箇所とそのサイズレンジａｊとを格納して（ステップＳ５４）、処理を次のステップＳ５５に進める。一方、マッチング演算部１５は、最小評価値Ｓｊ未満の場合、その位置ではサイズレンジａｊのはんだボールが検出されないと判断して、処理を次のステップＳ５５に進める。

なお、ステップＳ５２およびＳ５３で行われるマッチング演算方式は、既に周知の方法を用いることができる。例えば、単純な画素濃度差分演算や正規化相関のような相関演算を用いることができる。

ステップＳ５５において、マッチング演算部１５は、マッチングテンプレートｔｊによるテンプレートマッチング処理が、基板画像１００の全領域に対して完了したか否かを判断する。そして、マッチング演算部１５は、全領域完了の場合、当該サブルーチンによる処理を終了し、全領域未完了の場合、基板画像１００に対するテンプレートマッチング処理の対象位置を変更して、上記ステップＳ５２に戻って処理を繰り返す。ここで、上記対象位置の変更は、上述したように基板画像１００に対して当該画像左上から右方向に向けて順に変更して右端に到達後、当該画像下方向にずらして同様に順に変更されて、当該画像の全領域がそれぞれの位置でマッチング照合処理される。

このように、第１の実施形態に係るはんだボール検出装置では、様々な大きさ（直径、高さ等）や形状を有するはんだボールを、マッチング演算によって精確に検出することができる。マッチング演算を用いたはんだボールの検出においては、そのサイズや検出位置を把握できるため、はんだボールのサイズ、個数、および発生位置を検出結果として求めることが可能である。また、実装基板の画像からはんだ色部分を抽出し、さらに表面実装部品をマスクした画像を生成してマッチング演算されるため、背景技術で行っていた正確な検査ウインドウの設定等が不要であり、マッチング演算処理を行う時間を短縮しながら正確な判定を行うことができる。

なお、上記ステップＳ１で作成したマッチングテンプレートは、予め作成および格納して、それらのマッチングテンプレートを繰り返し使用してもかまわない。また、他の装置によってマッチングテンプレートを作成してもかまわない。他の装置でマッチングテンプレートを作成した場合は、それらのマッチングテンプレートを当該はんだボール検出装置のテンプレート格納部にマッチング演算前に格納すれば、同様に本発明を実現できることは言うまでもない。また、上記マッチングテンプレートは、検出対象の実装基板で想定されるはんだボール不良の状態に応じて設定してもかまわない。マッチングテンプレートにバリエーションを持たせることによって、多種多様のはんだボール不良を検出することができる。

（第２の実施形態）
本発明の第２の実施形態に係るはんだボール検出装置について説明する。なお、当該はんだボール検出装置の概略構成は、第１の実施形態における図１で説明したブロック図と同様である。以下、第１の実施形態と同様の構成要素は、同一の参照符号を付して詳細な説明を省略する。また、第２の実施形態に係るはんだボール検出装置の動作は、図２で示したステップＳ１のテンプレートｔ１〜ｔｎの作成動作が異なるのみであり、他の動作は第１の実施形態と同様である。したがって、第２の実施形態では、図２のステップＳ１の詳細な動作の説明を行い、他の動作については詳細な説明を省略する。

次に、図１２を参照して、第２の実施形態に係るはんだボール検出装置が上記ステップＳ１でテンプレート生成部１１およびテンプレート格納部１２がテンプレートｔ１〜ｔｎを作成し格納する処理について説明する。なお、図１２は、当該テンプレート生成部１１が行うテンプレート作成処理の動作を示すサブルーチンである。

図１２において、テンプレート生成部１１は、はんだボール径に対してｎ個のサイズレンジａ１〜ａｎを設定し（ステップＳ２０）、処理を次のステップに進める。ステップＳ５のマッチング照合処理において、直径Ｄｍｉｎ〜Ｄｍａｘのはんだボールを検出することを想定する場合、直径Ｄｍｉｎ〜Ｄｍａｘをｎ個のレンジに分割してサイズレンジａ１〜ａｎを設定する。そして、１つのサイズレンジは、そのサイズレンジが示す直径の±１０％程度に設定する。例えば、あるサイズレンジが検出するはんだボールの直径を０．１ｍｍとすると、そのサイズレンジは、０．０９〜０．１１ｍｍとなる。

次に、テンプレート生成部１１は、設定したサイズレンジａ１〜ａｎ毎に、それぞれｍ個のはんだボール画像ｂ１１〜ｂｎｍを作成し（ステップＳ２１）、処理を次のステップに進める。例えば、サイズレンジａ１に対してはんだボール画像ｂ１１〜ｂ１ｍが作成されるが、はんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１に属する直径を有するｍ個のはんだボールをそれぞれ撮像部２で撮像することによって生成される。そして、撮像されたはんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１の直径範囲でできるだけバリエーションに富んだ画像が好ましい。したがって、上記バリエーションは、第１の実施形態で説明したはんだボールの変化をできるだけ含めるように設定され、これらのバリエーションを含むｍ個のはんだボール画像を用いることによって、上述したはんだボールの変化を吸収できるマッチングテンプレートを作成できる。

次に、テンプレート生成部１１は、当該サブルーチンの一時変数ｉを１に設定して初期化する（ステップＳ２２）。そして、テンプレート生成部１１は、サイズレンジａｉに属するはんだボール画像ｂｉ１〜ｂｉｍを用いてそれらの輝度平均画像ｃｉを作成する（ステップＳ２３）。そして、テンプレート生成部１１は、輝度平均画像ｃｉにおけるボール断面（はんだボールの中心を通る直線）に対する輝度分布に最も近い正規分布関数（ガウス関数）を選択し（ステップＳ２４）、処理を次のステップに進める。具体的には、上記ステップＳ２４において、テンプレート生成部１１は、正規分布関数の標準偏差σを変化させながら、上記ボール断面の輝度分布に最も近いものを選択する。

図１３は、上記ボール断面の輝度分布を最も近い正規分布関数で近似した一例である。図９を用いて説明した近似曲線と比較すると、正規分布関数を用いて近似した曲線は、上記ボール断面の輝度分布の近似に適していることがわかる。これは、正規分布関数が本来誤差分布を表す関数であり、球の輝度分布に近いことから近似関数として最適になる。詳細は省略するが、このことは、発明者によって実験的にも明らかになっている。したがって、はんだボールの輝度分布に対する近似関数として、正規分布関数（ガウス関数）を用いることによって、より現実に近いはんだボールの輝度分布を近似表現でき、汎用性の高いマッチングテンプレートを作成することができる。

次に、テンプレート生成部１１は、上記ステップＳ２４で選択された正規分布曲線をその輝度軸に対して回転させてマッチングテンプレートｔｉを作成し（ステップＳ２５）、処理を次のステップに進める。図１４（ａ）は図１３で説明した正規分布曲線を用いて作成したマッチングテンプレートｔｉの一例であり、図１４（ｂ）はマッチングテンプレートｔｉの輝度分布を３次元的に示したものである。図１４（ａ）で示すように、マッチングテンプレートｔｉは、ボール表面およびボール周辺に相当する領域が形成される。そして、マッチングテンプレートｔｉのボール表面およびボール周辺に相当する領域がはんだボール表面部分およびボール周辺背景部分と照合する画像となる。図１４（ａ）および図１４（ｂ）で示すように、マッチングテンプレートｔｉのボール表面に相当する領域は、より球の輝度分布に近い画像となる。なお、マッチングテンプレートｔｉは、平均輝度分布ｃｉのボール断面の輝度分布を正規分布関数で近似し、その正規分布曲線の輝度軸を中心に回転させて作成されたが、他の方法で作成してもかまわない。例えば、平均輝度分布ｃｉを複数のボール断面（はんだボールの中心を通る複数の直線）に対する輝度分布を用いて、それぞれ正規分布関数で近似し、それらを組み合わせることによっても同様のマッチングテンプレートｔｉを得ることができる。

次に、テンプレート生成部１１は、上記ステップＳ２５で作成したテンプレートｔｉをテンプレート格納部１２に格納し（ステップＳ２６）、一時変数ｉが上記ステップＳ２０で設定されたサイズレンジの数ｎに到達したか否かを判断する（ステップＳ２７）。そして、テンプレート生成部１１は、一時変数ｉが数ｎに到達している場合、当該サブルーチンによる処理を終了し、一時変数ｉが数ｎに到達していない場合、一時変数ｉを＋１して（ステップＳ２８）、上記ステップＳ２３に戻って処理を繰り返す。これらの処理を繰り返すことによって、テンプレート生成部１１は、ｎ個のマッチングテンプレートｔ１〜ｔｎを作成し、それぞれテンプレート格納部１２に格納する。

このように、第２の実施形態に係るはんだボール検出装置でも、様々な大きさ（直径、高さ等）や形状を有するはんだボールを、マッチング演算によって精確に検出することができる。また、当該実施形態で用いるマッチングテンプレートは、正規分布関数で近似した情報を用いているため、はんだボールの輝度分布の近似に非常に適しており、より現実に近いはんだボールの輝度分布を近似表現できる。したがって、このマッチングテンプレートを用いることによって、より精確なはんだボール検出を行うことができる。また、第２の実施形態においても、マッチング演算を用いたはんだボールの検出においては、そのサイズや検出位置を把握できるため、はんだボールのサイズ、個数、および発生位置を検出結果として求めることが可能である。また、実装基板の画像からはんだ色部分を抽出し、さらに表面実装部品をマスクした画像を生成してマッチング演算されるため、背景技術で行っていた正確な検査ウインドウの設定等が不要であり、マッチング演算処理を行う時間を短縮しながら正確な判定を行うことができる。

なお、上記ステップＳ２０〜Ｓ２８で作成したマッチングテンプレートは、予め作成および格納して、それらのマッチングテンプレートを繰り返し使用してもかまわない。また、他の装置によってマッチングテンプレートを作成してもかまわない。他の装置でマッチングテンプレートを作成した場合は、それらのマッチングテンプレートを当該はんだボール検出装置のテンプレート格納部にマッチング演算前に格納すれば、同様に本発明を実現できることは言うまでもない。また、上記マッチングテンプレートは、検出対象の実装基板で想定されるはんだボール不良の状態に応じて設定してもかまわない。マッチングテンプレートにバリエーションを持たせることによって、多種多様のはんだボール不良を検出することができる。

（第３の実施形態）
本発明の第３の実施形態に係るはんだボール検出装置について説明する。なお、当該はんだボール検出装置の概略構成は、第１の実施形態における図１で説明したブロック図と同様である。以下、第１の実施形態と同様の構成要素は、同一の参照符号を付して詳細な説明を省略する。また、第３の実施形態に係るはんだボール検出装置の動作は、図２で示したステップＳ１のテンプレートｔ１〜ｔｎの作成動作が異なるのみであり、他の動作は第１の実施形態と同様である。したがって、第３の実施形態では、図２のステップＳ１の詳細な動作の説明を行い、他の動作については詳細な説明を省略する。

次に、図１５を参照して、第３の実施形態に係るはんだボール検出装置が上記ステップＳ１でテンプレート生成部１１およびテンプレート格納部１２がテンプレートｔ１〜ｔｎを作成し格納する処理について説明する。なお、図１５は、当該テンプレート生成部１１が行うテンプレート作成処理の動作を示すサブルーチンである。

図１２において、テンプレート生成部１１は、はんだボール径に対してｎ個のサイズレンジａ１〜ａｎを設定し（ステップＳ３０）、処理を次のステップに進める。ステップＳ５のマッチング照合処理において、直径Ｄｍｉｎ〜Ｄｍａｘのはんだボールを検出することを想定する場合、直径Ｄｍｉｎ〜Ｄｍａｘをｎ個のレンジに分割してサイズレンジａ１〜ａｎを設定する。そして、１つのサイズレンジは、そのサイズレンジが示す直径の±１０％程度に設定する。例えば、あるサイズレンジが検出するはんだボールの直径を０．１ｍｍとすると、そのサイズレンジは、０．０９〜０．１１ｍｍとなる。

次に、テンプレート生成部１１は、設定したサイズレンジａ１〜ａｎ毎に、それぞれｍ個のはんだボール画像ｂ１１〜ｂｎｍを作成し（ステップＳ３１）、処理を次のステップに進める。例えば、サイズレンジａ１に対してはんだボール画像ｂ１１〜ｂ１ｍが作成されるが、はんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１に属する直径を有するｍ個のはんだボールをそれぞれ撮像部２で撮像することによって生成される。そして、撮像されたはんだボール画像ｂ１１〜ｂ１ｍは、サイズレンジａ１の直径範囲でできるだけバリエーションに富んだ画像が好ましい。したがって、上記バリエーションは、第１の実施形態で説明したはんだボールの変化をできるだけ含めるように設定され、これらのバリエーションを含むｍ個のはんだボール画像を用いることによって、上述したはんだボールの変化を吸収できるマッチングテンプレートを作成できる。

次に、テンプレート生成部１１は、当該サブルーチンの一時変数ｉを１に設定して初期化する（ステップＳ３２）。そして、テンプレート生成部１１は、サイズレンジａｉに属するはんだボール画像ｂｉ１〜ｂｉｍを用いてそれらの輝度平均画像ｃｉを作成する（ステップＳ３３）。そして、テンプレート生成部１１は、輝度平均画像ｃｉにおけるボール断面（はんだボールの中心を通る直線）に対して、例えば、輝度分布に最も近い正規分布関数を選択し（ステップＳ３４）、処理を次のステップに進める。ボール断面の輝度分布に対する近似に正規分布関数を用いる場合、上記ステップＳ３４において、テンプレート生成部１１は、正規分布関数の標準偏差σを変化させながら、上記ボール断面の輝度分布に最も近いものを選択する。

次に、テンプレート生成部１１は、上記ステップＳ３４で選択された正規分布曲線をその輝度軸に対して回転させてマッチングテンプレートｔｉを作成し（ステップＳ３５）、作成したマッチングテンプレートｔｉの中心部に不感帯領域を形成して（ステップＳ３６）、処理を次のステップに進める。

ここで、一般的に、はんだボールが球形であるため、光の反射角度が球曲面角度に応じて変化する。そして、はんだボールの頭頂部付近が撮像部２と同軸の成分の光を反射しない場合、照明３から照射されはんだボールで反射する反射光が撮像部２へ入射せず、当該頭頂部付近が黒く撮像されることがある。このような現象は、上記ステップＳ３１におけるはんだボール画像ｂ１１〜ｂｎｍの作成でも起こりえるし、マッチング演算処理の対象となる基板画像の作成でも起こりえる。

上記頭頂部付近が黒く撮像されたはんだボールの輝度分布は、例えば図１６に示す輝度分布のようになる。図１６において、上記頭頂部付近が黒く撮像されたはんだボールの輝度分布は、頭頂部付近γで急激に輝度が低下している。このような輝度分布を有するはんだボールが基板画像に含まれている場合、第１および第２の実施形態で説明したマッチングテンプレートを用いてマッチング演算すると、そのマッチング評価値が低下しはんだボールを検出できない要因となる。このような要因を排除するために、上記ステップＳ３６では、テンプレートｔｉの中央部に照合演算要素を持たない不感帯領域を形成する。図１６には、正規分布関数を用いた近似曲線の頭頂部付近γに、不感帯領域を形成した一例を示している。この不感帯領域を形成する範囲は、マッチングテンプレートｔｉの中央を基準に、そのサイズに対する所定の割合で形成してもいいし、固定した大きさ（つまり、不感帯領域の面積が一定）で形成してもかまわない。

図１７（ａ）は不感帯領域を形成したマッチングテンプレートｔｉの一例であり、図１７（ｂ）は不感帯領域を形成したマッチングテンプレートｔｉの輝度分布を３次元的に示したものである。図１７（ａ）で示すように、マッチングテンプレートｔｉは、ボール表面およびボール周辺に相当する領域とその中央部に不感帯領域γとが形成される。そして、マッチングテンプレートｔｉのうち、ボール表面およびボール周辺に相当する領域がはんだボール表面部分およびボール周辺背景部分と照合する画像となり、不感帯領域γが何れの画像とも照合しない領域となる。図１７（ａ）および図１７（ｂ）で示すように、マッチングテンプレートｔｉのボール表面に相当する領域は、より球の輝度分布に近い画像となり、頭頂部付近が黒く撮像される可能性がある部位はマッチング照合処理をしない領域となる。

次に、テンプレート生成部１１は、上記ステップＳ３６で不感帯領域を形成したテンプレートｔｉをテンプレート格納部１２に格納し（ステップＳ３７）、一時変数ｉが上記ステップＳ３０で設定されたサイズレンジの数ｎに到達したか否かを判断する（ステップＳ３８）。そして、テンプレート生成部１１は、一時変数ｉが数ｎに到達している場合、当該サブルーチンによる処理を終了し、一時変数ｉが数ｎに到達していない場合、一時変数ｉを＋１して（ステップＳ３９）、上記ステップＳ３３に戻って処理を繰り返す。これらの処理を繰り返すことによって、テンプレート生成部１１は、ｎ個のマッチングテンプレートｔ１〜ｔｎを作成し、それぞれテンプレート格納部１２に格納する。

なお、上記ステップＳ３６で不感帯領域を形成せずに、上記ステップＳ３１で頭頂部付近が黒いはんだボール画像を作成して輝度分布を近似する方法も考えられる。しかしながら、基板画像に含まれるはんだボールは、それらの状態によって頭頂部付近が黒いものと黒くならないものとが混在することが一般的であり、上記方法で作成したマッチングテンプレートでは前者に対するマッチング照合処理でのみ対応できる。つまり、上記方法で作成したマッチングテンプレートでマッチング照合処理を行う場合、頭頂部付近が黒くないマッチングテンプレートを準備する必要がある。一方、マッチングテンプレートの中央部に不感帯領域を形成する方式は、双方に対して共通に用いることができるため、多くのマッチングテンプレートを作成する必要がなく、マッチング照合処理の回数も増加しない。また、マッチングテンプレートに形成する不感帯領域は、ステップＳ５で行うマッチング照合処理を行う際に形成してもかまわない。

このように、第３の実施形態に係るはんだボール検出装置でも、様々な大きさ（直径、高さ等）や形状を有するはんだボールを、マッチング演算によって精確に検出することができる。また、当該実施形態で用いるマッチングテンプレートは、その中心部に照合演算要素を持たない不感帯領域を形成しているため、照明条件等によって頭頂部付近が黒く撮像されるはんだボールに対してもマッチング照合処理の評価値を低下させずに検出することができる。また、上記マッチングテンプレートは、頭頂部付近が黒いものおよび黒くないものに対して共通に用いることができるため、準備するマッチングテンプレートの数およびマッチング照合処理を行う回数の増加は発生しない。また、第３の実施形態においても、マッチング演算を用いたはんだボールの検出においては、そのサイズや検出位置を把握できるため、はんだボールのサイズ、個数、および発生位置を検出結果として求めることが可能である。また、実装基板の画像からはんだ色部分を抽出し、さらに表面実装部品をマスクした画像を生成してマッチング演算されるため、背景技術で行っていた正確な検査ウインドウの設定等が不要であり、マッチング演算処理を行う時間を短縮しながら正確な判定を行うことができる。

（第４の実施形態）
本発明の第４の実施形態に係るはんだボール検出装置について説明する。なお、当該はんだボール検出装置の概略構成は、第１の実施形態における図１で説明したブロック図と同様である。以下、第１の実施形態と同様の構成要素は、同一の参照符号を付して詳細な説明を省略する。また、第４の実施形態に係るはんだボール検出装置の動作は、図２で示したステップＳ５のテンプレートｔｊによるマッチング照合処理が異なるのみであり、他の動作は第１〜第３の実施形態と同様である。したがって、第４の実施形態では、図２のステップＳ５の詳細な動作の説明を行い、他の動作については詳細な説明を省略する。

第４の実施形態に係るはんだボール検出装置は、上述した第１〜第３の実施形態が球形のはんだボールを検出することを目的にしていることに対して、楕円型に変形したはんだボールを検出する。以下、図１８を参照して、第４の実施形態におけるマッチング演算部１５が行うステップＳ５のテンプレートｔｊによるマッチング照合処理について説明する。なお、図１８は、当該マッチング演算部１５が行うテンプレートｔｊによるマッチング照合処理の動作を示すサブルーチンである。

図１８において、マッチング演算部１５は、テンプレート格納部１２に格納されているマッチングテンプレートｔｊに対する最小評価値Ｓｊを設定し（ステップＳ６１）、処理を次のステップに進める。最小評価値Ｓｊを設定する方法は、第１の実施形態で説明したステップＳ５１と同様であるため、詳細な説明を省略する。

次に、マッチング演算部１５は、表面実装部品部分マスク部１４でマスク処理された基板画像１００のテンプレートマッチング処理に用いるマッチングテンプレートｔｊに対して、拡大／縮小処理を行い（ステップＳ６２）、処理を次のステップに進める。

一般的に、はんだボールは、表面実装部品の側部に沿った発生が顕著である。そして、はんだボールが楕円型に変形する場合、上記側部に沿って扁平し、そのはんだボールが沿う実装基板上の表面実装部品の側部配置方向（以下、実装方向と記載する）が楕円型の長半径方向となる。つまり、実装基板上に発生する楕円型に変形したはんだボールの長半径方向は、上記実装方向から推測することができる。上記ステップＳ６２における拡大／縮小処理では、マッチング演算部１５は、マッチングテンプレートｔｊを上記実装方向に拡大または縮小することによって楕円型に変形させる。例えば、図１９に示すように、ほぼ円形のマッチングテンプレートｔｉを図示左右方向に拡大することによって、当該左右方向を長半径方向とした楕円型のマッチングテンプレートｔｉが生成される。上記ステップＳ６２でマッチングテンプレートｔｊを拡大／縮小する割合は、検出対象の実装基板で想定される楕円型はんだボールに応じて設定すればよく、複数の割合を設定してもかまわない。

次に、マッチング演算部１５は、表面実装部品部分マスク部１４でマスク処理された基板画像１００における所定の位置に対して、拡大／縮小処理されたマッチングテンプレートｔｊによるテンプレートマッチング処理を行い（ステップＳ６３）、その一致度が最小評価値Ｓｊ以上か否かを判断する（ステップＳ６４）。そして、マッチング演算部１５は、最小評価値Ｓｊ以上の場合、その位置でサイズレンジａｊの楕円型はんだボールが検出されたと判断して、基板画像１００に対する検出箇所とそのサイズレンジａｊとを格納して（ステップＳ６５）、処理を次のステップＳ６６に進める。一方、マッチング演算部１５は、最小評価値Ｓｊ未満の場合、その位置ではサイズレンジａｊの楕円型はんだボールが検出されないと判断して、処理を次のステップＳ６６に進める。

なお、ステップＳ６４およびＳ６５で行われるマッチング演算方式は、既に周知の方法を用いることができる。例えば、単純な画素濃度差分演算や正規化相関のような相関演算を用いることができる。

ステップＳ６６において、マッチング演算部１５は、上記ステップＳ６３で拡大／縮小処理されたマッチングテンプレートｔｊによるテンプレートマッチング処理が、基板画像１００の全領域に対して完了したか否かを判断する。そして、マッチング演算部１５は、全領域完了の場合、処理を次のステップＳ６７に進め、全領域未完了の場合、基板画像１００に対するテンプレートマッチング処理の対象位置を変更して、上記ステップＳ６３に戻って処理を繰り返す。ここで、上記対象位置の変更は、第１の実施形態で説明したように基板画像１００に対して当該画像左上から右方向に向けて順に変更して右端に到達後、当該画像下方向にずらして同様に順に変更されて、当該画像の全領域がそれぞれの位置でマッチング照合処理される。

ステップＳ６７において、マッチング演算部１５は、上記ステップＳ６３でマッチングテンプレートｔｊに対して行われる拡大／縮小処理が全て行われたか否かを判断する。例えば、マッチング演算部１５は、上記ステップＳ６２でマッチングテンプレートｔｊを拡大／縮小する割合を複数設定している場合、それら設定されている割合それぞれに対してマッチングテンプレートｔｊが拡大／縮小処理したか否かを判断する。そして、マッチング演算部１５は、マッチングテンプレートｔｊに対して拡大／縮小処理が全て行われている場合、当該サブルーチンによる処理を終了し、拡大／縮小処理が残っている場合、上記ステップＳ６２に戻って処理を繰り返す。

このように、第４の実施形態に係るはんだボール検出装置でも、様々な大きさ（直径、高さ等）や形状を有するはんだボールを、マッチング演算によって精確に検出することができる。また、当該実施形態で用いるマッチングテンプレートは、実装方向に拡大または縮小した楕円型のはんだボールを近似しているため、楕円型のはんだボールを検出することができる。また、楕円型のはんだボールに対しても、そのサイズや検出位置を把握できるため、楕円型はんだボールのサイズ、個数、および発生位置を検出結果として求めることが可能である。さらに、マッチングテンプレートは、上記実装方向に限定して拡大／縮小処理が行われるため、必要最低限の拡大／縮小処理となり、不要な拡大／縮小処理を省くことが可能である。つまり、上記拡大／縮小回数に伴って増加するマッチング演算処理回数も最小限に限定することができ、はんだボール検出時間も最小限にできる。また、実装基板の画像からはんだ色部分を抽出し、さらに表面実装部品をマスクした画像を生成してマッチング演算されるため、背景技術で行っていた正確な検査ウインドウの設定等が不要であり、マッチング演算処理を行う時間を短縮しながら正確な判定を行うことができる。

なお、第４の実施形態に係るはんだボール検出装置の説明では、楕円型はんだボールを検出したが、球形のはんだボールの検出も可能である。例えば、マッチングテンプレートの拡大／縮小処理（ステップＳ６２）において、その拡大／縮小する割合に１．０（つまり等倍）を含めれば、同様に球形のはんだボールを検出することができる。

また、上述した第１〜第４の実施形態におけるマッチング照合処理の順序は、複数格納されたマッチングテンプレートから１つを選択し、そのマッチングテンプレートを用いて基板画像全領域を照合した後、他のマッチングテンプレートを選択して同様の照合を繰り返した。しかしながら、マッチング照合処理の順序は、これに限定されない。例えば、マッチング対象の基板画像における所定位置に対して、格納された複数のマッチングテンプレートをそれぞれ照合し、全てのマッチングテンプレートとの照合が終わった後、当該基板画像における他の位置に移動して複数のマッチングテンプレートによる照合を繰り返してもかまわない。

本発明にかかるはんだボール検出方法およびその装置は、球状のはんだを精確に検出でき、プリント基板と表面実装部品とのはんだ付けにおいて発生するはんだボール等を検出する用途に適用できる。

本発明の第１の実施形態に係るはんだボール検出装置の概略構成を示すブロック図 図１のはんだボール検出装置が実装基板のカラー画像からはんだボールを検出する動作を示すフローチャート 実装基板Ｐのカラー画像におけるＲＧＢ輝度分布の一例を示すグラフ 図１のはんだ部抽出部１３がはんだ色部を抽出した基板画像１００の一例を示す図 図１のマッチング演算部１５がテンプレートｔｊを用いてマッチング照合処理を行う前半部の状態を示す図 図１のマッチング演算部１５がテンプレートｔｊを用いてマッチング照合処理を行う後半部の状態を示す図 本発明の第１の実施形態に係るはんだボール検出装置におけるテンプレート生成部１１が、図２のステップＳ１で行うテンプレート作成処理の動作を示すサブルーチン はんだボールが示す輝度変化の一例を示すグラフ 図７のステップＳ１５で、輝度分布を最も単純なステップ関数で近似した一例を示すグラフ 図９の近似曲線を用いて作成したマッチングテンプレートｔｉの一例を示す図 本発明の第１の実施形態に係るはんだボール検出装置におけるマッチング演算部１５が、図２のステップＳ５で行うのテンプレートｔｊによるマッチング照合処理の動作を示すサブルーチン 本発明の第２の実施形態に係るはんだボール検出装置におけるテンプレート生成部１１が、図２のステップＳ１で行うテンプレート作成処理の動作を示すサブルーチン 図１２のステップＳ２４で、ボール断面の輝度分布を最も近い正規分布関数で近似した一例を示すグラフ 図１３の近似曲線を用いて作成したマッチングテンプレートｔｉの一例を示す図 本発明の第３の実施形態に係るはんだボール検出装置におけるテンプレート生成部１１が、図２のステップＳ１で行うテンプレート作成処理の動作を示すサブルーチン 頭頂部付近が黒く撮像されたはんだボールの輝度分布の一例と、正規分布関数を用いた近似曲線の頭頂部付近γに不感帯領域を形成した一例とを示すグラフ 図１６の近似曲線を用いて作成したマッチングテンプレートｔｉに不感帯領域を形成した一例を示す図 本発明の第４の実施形態に係るはんだボール検出装置におけるマッチング演算部１５が、図２のステップＳ５で行うマッチング照合処理の動作を示すサブルーチン 図１８のステップＳ６２で拡大／縮小処理されたテンプレートｔｊの一例を示す図 はんだボールＢを含む実装基板を撮像した基板画像１００の一例を示す図

符号の説明

１…画像処理部
１１…テンプレート生成部
１２…テンプレート格納部
１３…はんだ部抽出部
１４…表面実装部品部分マスク部
１５…マッチング演算部
１６…良否判定部
１７…検査条件設定部
２…撮像部
３…照明
４…ステージ
１００…基板画像
１０１…背景パターン
１０２…表面実装部品
１０３…フィレット部

Claims (11)

1. 検出対象画像内に撮像された球状のはんだを検出するはんだボール検出方法であって、
   予め撮像された球状のはんだ画像における輝度分布を所定関数で近似し、当該関数を用いてマッチングテンプレートを作成する工程と、
   前記検出対象画像に対して前記マッチングテンプレートを用いて照合処理を行う工程と、
   前記照合処理の結果、前記検出対象画像と前記マッチングテンプレートとの一致度が所定値以上のとき、当該検出対象画像の位置に対して球状のはんだを検出する工程とを含む、はんだボール検出方法。
2. 前記マッチングテンプレートを作成する工程は、その外形サイズに応じてランク分けされた球状のはんだに対して、それぞれランク毎の球状のはんだ画像における輝度分布を所定関数で近似し、当該関数を用いてそれぞれマッチングテンプレートを作成し、
   前記照合処理を行う工程は、前記検出対象画像に対してそれぞれ前記マッチングテンプレートを用いてそれぞれ照合処理を行い、
   前記球状のはんだを検出する工程は、前記照合処理の結果、前記検出対象画像と前記マッチングテンプレートとの一致度が所定値以上のとき、当該検出対象画像の位置に対して照合処理を行った前記マッチングテンプレートが属するランクが示す外形サイズを有する球状のはんだを検出することを特徴とする、請求項１に記載のはんだボール検出方法。
3. 前記所定の関数は、正規分布関数であることを特徴とする、請求項１に記載のはんだボール検出方法。
4. 前記検出対象画像からはんだ色領域を抽出する工程と、
   前記検出対象画像に含まれる検出対象外領域をマスクする工程とを、さらに含み、
   前記照合処理を行う工程は、前記はんだ色領域が抽出され前記検出対象外領域がマスクされた前記検出対象画像に対して前記マッチングテンプレートを用いて照合処理を行うことを特徴とする、請求項１に記載のはんだボール検出方法。
5. 前記はんだ色領域を抽出する工程は、前記検出対象画像におけるＲＧＢ値それぞれの差が所定の範囲内にある領域を前記はんだ色領域として抽出することを特徴とする、請求項４に記載のはんだボール検出方法。
6. 前記マッチングテンプレートを作成する工程は、作成した前記マッチングテンプレートに対してその中心部に照合演算要素を持たない不感帯領域を設定し、
   前記照合処理を行う工程は、前記不感帯領域を設定したマッチングテンプレートを用いて前記検出対象画像に対して照合処理を行うことを特徴とする、請求項１に記載のはんだボール検出方法。
7. 前記照合処理を行う工程は、所定の方向に対して前記マッチングテンプレートを拡大または縮小処理し、当該拡大または縮小処理されたマッチングテンプレートを用いて前記検出対象画像に対して照合処理を行うことを特徴とする、請求項１に記載のはんだボール検出方法。
8. 前記球状のはんだを検出する工程で検出された球状のはんだの位置および数を解析し、少なくとも一方に基づいて前記検出対象画像の良否を判定する工程を、さらに含むことを特徴とする、請求項１に記載のはんだボール検出方法。
9. 前記球状のはんだを検出する工程で検出された球状のはんだの外形サイズに基づいて前記検出対象画像の良否を判定する工程を、さらに含むことを特徴とする、請求項２に記載のはんだボール検出方法。
10. 球状のはんだを検出するはんだボール検出装置であって、
    ステージ上に載置された対象物を撮像し検出対象画像を生成する撮像部と、
    前記撮像部で生成された検出対象画像内に撮像された球状のはんだを検出する画像処理部とを備え、
    前記画像処理部は、
    予め撮像された球状のはんだ画像における輝度分布を所定関数で近似し、当該関数を用いてマッチングテンプレートを作成するテンプレート生成手段と、
    前記撮像部で生成された検出対象画像に対して前記テンプレート生成手段で作成されたマッチングテンプレートを用いて照合処理を行い、両者の一致度が所定値以上のとき、当該検出対象画像の位置に対して球状のはんだを検出するマッチング演算手段とを含む、はんだボール検出装置。
11. 前記画像処理部は、さらに、
    前記撮像部で生成された検出対象画像からはんだ色領域を抽出するはんだ色抽出手段と、
    前記はんだ色抽出手段がはんだ色領域を抽出した検出対象画像に含まれる検出対象外領域をマスクし、前記マッチング演算手段が照合処理を行う検出対象画像を生成するマスク手段とを含むことを特徴とする、請求項１０に記載のはんだボール検出装置。