JP2007003297A - 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 - Google Patents

Abstract

【課題】画像において互いに隣接する２つの部分の境界を特定するために用いられるパラメータを自動生成可能な技術を提供する。
【解決手段】教師画像のそれぞれに対し、第１部分の色を採取するための第１領域と第２部分の色を採取するための第２領域からなる色採取領域を複数パターン設定し、色採取領域のそれぞれのパターンについて、第１領域内の各画素の色を対象点として、第２領域内の各画素の色を除外点として、それぞれ色空間にマッピングし、色採取領域のそれぞれのパターンについて、色空間における対象点分布と除外点分布との分離度を算出し、分離度が最大となる色採取領域のパターンを選択し、色空間を分割する色範囲であって、そこに含まれる選択されたパターンにおける対象点の数と除外点の数の差が最大となるような色範囲を求め、求められた色範囲を基板検査処理で用いられる色条件として設定する。
【選択図】図８

Description

本発明は、基板検査装置で用いられるパラメータを自動生成するための技術に関する。

従来より、多数の電子部品が実装されたプリント基板の実装品質を検査するための基板検査装置が提案されている。この種のプリント基板において「電子部品の電極部とランドを半田付けした際の半田盛りの形状」を半田フィレットと呼ぶが、電子部品の電極部の濡れ上がりによっては、半田フィレットが形成されているように見えて、実は電子部品と半田フィレットが未接触な場合もある。よって、半田付けの良否を検査するには、自由曲線からなる半田フィレットの形状を正確に捉える必要がある。

しかしながら、従前の基板検査装置では、モノクロ（単色）単一照明を光源に用いていたために、半田フィレットの３次元形状を画像解析するのが困難であった。それゆえ、半田付けの良否を判定することができず、基板検査装置として実用に耐えるものではなかった。

このような課題を解決するため、本出願人は、図１１に示す方式の基板検査装置を提案した（特許文献１参照）。この方式は３色光源カラーハイライト方式（もしくは単にカラーハイライト方式）とよばれるもので、複数の色の光源で検査対象を照らすことによって半田フィレットの３次元形状を疑似カラー画像として得る技術である。

プリント基板の自動検査の実用化は、実質、このカラーハイライト方式技術の登場以降であると言われている。特に、電子部品が小型化する現在では、半田フィレット形状を目視で判別することも困難であり、カラーハイライト方式の基板検査装置なしでは基板検査が成り立たないと言うこともできる。

図１１に示すように、カラーハイライト方式の基板検査装置は、基板１１０上の検査対象１０７に異なる入射角で三原色光を照射する投光部１０５と、検査対象１０７からの反射光を撮像する撮像部１０６と、を備える。この投光部１０５は、異なる径を有し、かつ制御処理部からの制御信号に基づき赤色光、緑色光、青色光を同時に照射する３個の円環状光源１１１，１１２，１１３により構成されている。各光源１１１，１１２，１１３は、検査対象１０７の真上位置に中心を合わせ、かつ検査対象１０７から見て異なる仰角に対応する方向に配置されている。

かかる構成の投光部１０５で検査対象（半田フィレット）１０７を照射すると、撮像部１０６には、検査対象１０７の表面の傾斜に応じた色の光が入射する。よって、図１２に示すように、電子部品の半田付けが良好であるとき／部品が欠落しているとき／半田不足の状態であるときなど、半田フィレットの形状に応じて、撮像画像の色彩パターンに明確な差異が現れる。これにより、半田フィレットの３次元形状を画像解析するのが容易になり、電子部品の有無や半田付けの良否を正確に判定することができるようになる。

カラーハイライト方式の基板検査装置では、「あるべき良品の色」や「あるべき不良品の色」を表す色パラメータ（色条件）を予め設定しておき、検査画像の中から色パラメータに該当する色領域を抽出し、その抽出された領域のもつ種々の特徴量（例えば、面積や長さ）に基づいて良否の判定を行う。したがって、実際の検査に先立ち、検査に用いる色パラメータ、特徴量の種類、良品と不良品とを切り分けるための判定条件（たとえば、しきい値）などを設定しておく必要がある。この色パラメータ、特徴量および判定条件を合
わせて検査ロジックもしくは検査パラメータと呼び、また検査ロジックを設定・調整することを一般にティーチングと呼ぶ。

検査精度を向上するためには、良品の示す特徴量と不良品の示す特徴量との間に有意かつ明確な差異が現れるように色パラメータを設定することが肝要である。すなわち、色パラメータのティーチングの善し悪しが検査精度を直接左右すると言える。

そこで本出願人は、図１３に示すように、カラーハイライト方式における色パラメータの設定を支援するためのツールを提案している（特許文献２参照）。このツールでは、色パラメータとして、赤、緑、青の各色相比ＲＯＰ、ＧＯＰ、ＢＯＰおよび明度データＢＲＴのそれぞれの上限値および下限値の設定が可能である。図１３の入力画面には、色パラメータの設定値を入力するための色パラメータ設定部１２７とともに、設定された各色パラメータにより抽出される色彩の範囲を表示するための設定範囲表示部１２８が設けられている。この設定範囲表示部１２８には、所定の明度の下で得られるすべての色彩を示した色合い図１３４が表示されており、オペレータが各色パラメータの上限値、下限値を設定すると、色合い図１３４上には、設定された色パラメータにより抽出される色彩を囲むような確認領域１３５が表示される。また、２値化表示ボタン１２９を押すと、現在の色パラメータによる抽出結果が二値画像で表示される。このツールによれば、オペレータは、確認領域１３５や二値画像を見ながら、適切な抽出結果が得られるまで色パラメータの追い込みを行うことができる。
特開平２−７８９３７号公報 特開平９−１４５６３３号公報

基板検査装置は、プリント基板の実装品質について一度に複数の検査項目を高速かつ正確に検査することが出来るという利点がある。ただし、基板検査装置の実稼動にあたっては、個別の検査対象に合わせて検査ロジック各々のティーチングを行い、不良品の見逃しがなく、かつ、良品を不良品と判定してしまう過検出が許容値（あらかじめ想定する値）以下に抑え込めるまで、判定精度を十分に高めなければならない。

不良品の見逃しと過検出について補足すれば、どのような検査であっても不良品の流出は絶対に許されない。不良品と良品の判定が難しい場合は、良品を不良品と判定する方を良しとするが、過検出が多くなると良品を不良品として廃棄するロスコストが増えるか、不良品の再検査が必要となり、検査を自動化するメリットがなくなってしまう。

ところが、カラーハイライト方式の基板検査装置では、実用に耐え得る高度な基板検査が可能な反面、不良品の見逃しと過検出を目標値まで抑え込むためのティーチングが難しい。上述した色パラメータ設定支援ツールを利用したとしても、結局、色パラメータの追い込みはオペレータの経験と勘に頼る部分が大きいため、設定ミスの発生は避けられない。しかも、どれだけ優れたオペレータでも試行錯誤的に調整を繰り返さなければならず、非効率的であり、多大な労力と調整時間を要してしまうという問題がある。

商品ライフサイクルの短命化が進む変化の激しい製造環境では、ティーチング作業の軽減、さらにはティーチングの自動化が強く望まれている。

また、部品種によっては、部品ごとに（撮像画像ごとに）検査対象とすべき部分（例えば半田部分、ランド部分など）の位置がばらつくことがあり、そのような部品種を検査するにあたっては、画像の中から検査対象領域を精度良く特定する処理も必要となる。例えば、ガルウィング型リードをもつ部品の場合は、リードの（画像上での）長さにばらつき
があることが多い。よって、ランド上に形成された半田フィレットの形状等を検査するためには、最初に、画像からリード部分と半田部分との境界を見極めて半田部分のみを抽出する必要がある。

リードの先端部分は水平なため、カラーハイライト方式の基板検査装置ではリードの先端部分には赤色（入射角の最も大きい光源の色）が現れる傾向にある。一方、リードの先端に近い半田部分は傾斜しているため、青色や緑色（入射角の小さい光源の色）が現れる傾向にある。したがって、これらの色分布傾向の違いを検出することで、リードと半田の境界を決定することが可能にみえる。すなわち、リード部分の色と半田部分の色をティーチングしておき、それらの色条件とのマッチングをとることにより、境界を特定するのである。

ところが現実はそのように単純にはいかない。部品種によって半田部分に現れる色の傾向がまちまちだからである。

例えば、半田フィレットの形状（傾斜）は一様ではなく、リードの先端近傍に水平面が形成されることもあり得る。特にＩＣ系部品のように多数のリードを有する部品では、リード幅およびリードの配列間隔が狭いことから、半田の幅も狭くなり、半田フィレットに水平面が形成される可能性が高くなる。図１４は３種類の部品の画像を示しているが、部品種Ａでは、リードと半田の境界全域に青系色が現れているのに対し、部品種Ｂでは、境界の中央部のみに青系色が現れており、部品種Ｃでは、境界の両側部のみに青系色が現れていることがわかる。

このような色分布傾向のバラツキは、ティーチング自動化の大きな阻害要因となっている。なお、リード部分と半田部分の境界を特定する処理に限らず、互いに隣接する２つの部分の境界を特定するほとんどの処理において同様の問題が生じ得る。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、画像において互いに隣接する２つの部分の境界を特定するために用いられるパラメータを自動生成可能な技術を提供することにある。

また、本発明のさらなる目的は、色分布傾向にバラツキのある教師画像からでも、上記パラメータを自動生成可能な技術を提供することにある。

本発明では、情報処理装置（パラメータ設定装置）が、まず、部品を撮像して得られた複数の教師画像を取得し、前記教師画像のそれぞれに対し、前記第１部分の色を採取するための第１領域と前記第２部分の色を採取するための第２領域からなる色採取領域を複数パターン設定する。

第１領域、第２領域は、それぞれ所定の形状及び大きさをもつ。第１部分全体を第１領域としてもよいし、第１部分の一部に第１領域を設定してもよい。第２領域についても同様である。各パターンの形状や大きさは、教師画像における色分布の傾向に応じて定められていることが好ましい。例えば、第２部分の特徴的な色が、第２部分の全体に現れるケース、第２部分の中央にのみ現れるケース、第２部分の端部のみに現れるケースの３種類あることが判っていたら、第２領域として、第２部分の全体をカバーするパターンと中央のみカバーするパターンと端部のみカバーするパターンの３種類を用意すればよい。

続いて、情報処理装置は、前記色採取領域のそれぞれのパターンについて、第１領域内の各画素の色を対象点として、第２領域内の各画素の色を除外点として、それぞれ色空間
にマッピングする。そして、前記色採取領域のそれぞれのパターンについて、前記色空間における対象点分布と除外点分布との分離度を算出し、前記分離度が最大となる色採取領域のパターンを選択する。

これにより、第１領域と第２領域の色分布傾向の差が最も大きいパターンの色採取領域が決定される。

続いて、情報処理装置は、前記色空間を分割する色範囲であって、そこに含まれる前記選択されたパターンにおける対象点の数と除外点の数の差が最大となるような色範囲を求め、求められた前記色範囲を前記基板検査処理で用いられる色条件として設定する。

これにより、パラメータの１つである色条件が自動的に生成される。しかも、この色条件は、色分布傾向の差が最も顕著に現れるパターンの色採取領域を用いて生成されているので、第１部分に現れる傾向にある色と第２部分に現れる傾向にある色とを好適に切り分け可能である。

ここで色空間は、明度、色相、彩度の３軸から少なくともなる多次元色空間であってもよいが、たとえば、第１部分に多く含まれ、かつ、第２部分にほとんど含まれない傾向にある色相、又は、第２部分に多く含まれ、かつ、第１部分にほとんど含まれない傾向にある色相についての彩度軸と明度軸からなる２次元色空間を用いることも好ましい。２次元色空間を採用することにより、色範囲の探索処理が簡単になる。また、２次元色空間において、色条件を彩度の下限と上限、および、明度の下限と上限から構成すれば、色範囲が矩形領域となり、色範囲の探索処理が一層簡単になる。

続いて、情報処理装置は、前記教師画像のそれぞれから前記色条件を満たす画素領域を抽出し、それら画素領域のもつ特徴量を統計解析することにより、前記第１部分と第２部分の境界を判定するための条件を算出し、算出された前記条件を前記基板検査処理で用いられる判定条件として設定する。これにより、パラメータの１つである判定条件が自動的に生成される。

ここで特徴量としては、画素領域の面積、面積比、長さ、最大幅、重心、形状、又はこれらの組み合わせなど種々のものが想定される。検査により検出すべき対象に応じて好ましい特徴量を１つまたは２つ以上採用すればよい。

上記各処理は、情報処理装置のプログラムによって実行されるものである。このように自動生成されたパラメータ（色条件と判定条件）は基板検査装置の記憶部に格納され、基板検査処理に供される。

基板検査装置は、基板上の実装部品に異なる入射角で複数の色の光を照射する投光手段と、その反射光を撮像して得られた画像において基板上の第１部分と第１部分に隣接する第２部分との境界を特定するために、前記第１部分に現れる傾向にある色を規定する所定の色条件を満たす領域を前記画像から抽出し、抽出された領域のもつ特徴量と所定の判定条件とを比較することにより前記境界を決定する境界決定手段と、前記境界を基準にして検査対象領域を抽出し、前記検査対象領域に対して検査処理を施す検査手段と、を備える。上述したパラメータ設定装置により生成された色条件及び判定条件を用いることで、第１部分と第２部分の境界を精度良く特定でき、結果、検査対象領域の適切なる設定が可能となり、基板検査処理の精度及び信頼性の向上につながる。

なお、本発明は、上記処理の少なくとも一部を含む基板検査装置のパラメータ設定方法、または、かかる方法を実現するためのプログラムとして捉えることができる。また、本発明は、上記処理を実行する手段の少なくとも一部を有する基板検査装置のパラメータ設定装置、または、かかる装置を備えた基板検査装置として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、色分布傾向にバラツキのある教師画像からでも、互いに隣接する２つの部分の境界を特定するために用いられるパラメータを自動生成することができ、ティーチング作業の軽減、さらにはティーチングの自動化を図ることが可能となる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

（基板検査システムの構成）
図１は、本発明の実施形態に係る基板検査システムのハードウェア構成を示している。

基板検査システムは、基板検査処理を実行する基板検査装置１と、この基板検査装置１の基板検査処理において用いられるパラメータを自動生成するパラメータ設定装置２とから構成される。基板検査装置１とパラメータ設定装置２は、有線もしくは無線のネットワーク、または、ＭＯやＤＶＤなどの記録媒体を介して、画像やパラメータなどの電子データの受け渡しを行うことができる。なお、本実施形態では基板検査装置１とパラメータ設定装置２が別体構成となっているが、基板検査装置本体にパラメータ設定装置の機能を組み込んで一体構成とすることも可能である。

（基板検査装置の構成）
基板検査装置１は、カラーハイライト方式により基板２０上の実装部品２１の実装品質（半田付け状態など）を自動検査する装置である。基板検査装置１は、概略、Ｘステージ２２、Ｙステージ２３、投光部２４、撮像部２５、制御処理部２６を備えている。

Ｘステージ２２およびＹステージ２３は、それぞれ制御処理部２６からの制御信号に基づいて動作するモータ（図示せず）を備える。これらモータの駆動によりＸステージ２２が投光部２４および撮像部２５をＸ軸方向へ移動させ、またＹステージ２３が基板２０を支持するコンベヤ２７をＹ軸方向へ移動させる。

投光部２４は、異なる径を有しかつ制御処理部２６からの制御信号に基づき赤色光，緑色光，青色光を同時に照射する３個の円環状光源２８，２９，３０により構成されている。各光源２８，２９，３０は、観測位置の真上位置に中心を合わせかつ観測位置から見て異なる仰角に対応する方向に配置されている。かかる配置により、投光部２４は基板２０上の実装部品２１に異なる入射角で複数の色の光（本実施形態では、Ｒ，Ｇ，Ｂの３色）を照射する。

撮像部２５はカラーカメラであって、観測位置の真上位置に下方に向けて位置決めしてある。これにより基板表面の反射光が撮像部２５により撮像され、三原色のカラー信号Ｒ，Ｇ，Ｂに変換されて制御処理部２６へ供給される。

制御処理部２６は、Ａ／Ｄ変換部３３、画像処理部３４、検査ロジック記憶部３５、判定部３６、撮像コントローラ３１、ＸＹステージコントローラ３７、メモリ３８、制御部（ＣＰＵ）３９、記憶部３２、入力部４０、表示部４１、プリンタ４２、通信Ｉ／Ｆ４３などで構成される。

Ａ／Ｄ変換部３３は、撮像部２５からのカラー信号Ｒ，Ｇ，Ｂを入力してディジタル信
号に変換する回路である。各色相毎のディジタル量の濃淡画像データは、メモリ３８内の画像データ格納エリアへと転送される。

撮像コントローラ３１は、制御部３９と投光部２４および撮像部２５とを接続するインターフェイスなどを備える回路であり、制御部３９の出力に基づき投光部２４の各光源２８，２９，３０の光量を調整したり、撮像部２５の各色相光出力の相互バランスを保つなどの制御を行う。

ＸＹステージコントローラ３７は制御部３９とＸステージ２２およびＹステージ２３とを接続するインターフェイスなどを備える回路であり、制御部３９の出力に基づきＸステージ２２およびＹステージ２３の駆動を制御する。

検査ロジック記憶部３５は、基板検査処理に用いられる検査ロジックを記憶する記憶部である。基板検査装置１では、半田形状を検査するフィレット検査や部品の欠落を検査する欠落検査など、複数種類の検査処理を行うことができる。検査ロジックは、検査の種類ごとに用意されるものであって、画像から所定の色彩パターンを抽出するための色パラメータ、その色彩パターンから抽出する特徴量の種類、その特徴量に関する良否の判定条件などから構成される。

なお、検査ロジックの中には、本検査処理に先立ち、その検査の対象となる検査対象領域を特定する処理（検査対象領域決定処理）を実行するものがある。このような検査ロジックは、本検査処理のためのパラメータ（色パラメータ、特徴量の種類、判定条件）に加えて、検査対象領域決定処理のパラメータも有している。検査対象領域決定処理のパラメータとしては、画像から所定の色彩パターン（画素領域）を抽出するための色パラメータ（色条件）、その色彩パターンから抽出する特徴量の種類、その特徴量を用いて領域の境界決定を行うための判定条件などを含む。

画像処理部３４は、基板２０上の部品２１を撮像して得られた画像から色パラメータを満たす領域を抽出する処理、および、抽出された領域から所定の特徴量を算出する処理を実行する回路である。判定部３６は、画像処理部３４で算出された特徴量を受け取り、その特徴量が所定の判定条件を満たすか否かで部品の半田付け状態の良否を判定したり、検査対象領域の境界を判定する処理を実行する回路である。

入力部４０は、操作情報や基板２０に関するデータなどを入力するのに必要なキーボードやマウスなどから構成されている。入力されたデータは制御部３９へ供給される。通信Ｉ／Ｆ４３は、パラメータ設定装置２や他の外部装置などとの間でデータの送受信を行うためのものである。

制御部（ＣＰＵ）３９は、各種演算処理や制御処理を実行する回路である。記憶部３２は、ハードディスクやメモリから構成される記憶装置であって、制御部３９にて実行されるプログラムの他、基板のＣＡＤ情報、基板検査処理の判定結果などが格納される。

図２に基板検査装置１の機能構成を示す。基板検査装置１は、指示情報受付機能１０、基板搬入機能１１、ＣＡＤ情報読込機能１２、ステージ操作機能１３、撮像機能１４、検査ロジック読込機能１５、検査機能１６、判定結果書込機能１７、基板搬出機能１８を有する。これらの機能は、制御部３９が記憶部３２に格納されたプログラムに従って上記ハードウェアを制御することによって実現されるものである。また、記憶部３２の内部には、ＣＡＤ情報を記憶するＣＡＤ情報記憶部３２ａと判定結果を記憶する判定結果記憶部３２ｂが設けられている。

（基板検査処理）
次に、上記基板検査装置１における基板検査処理について述べる。ここでは、基板検査処理の一例として、フィレット検査（半田フィレットの形状が良好か否かを判定する検査）を説明する。

図３Ａに示すように、良品の半田フィレットでは、部品２１のリード先端から基板２０上のランドにかけて山の裾野のような傾斜面が形成される。これに対し、半田不足が起こると傾斜面の面積が小さくなる。

これらの半田フィレットを基板検査装置１で撮像すると、それぞれ図３Ｂに示すような画像が得られる。赤色，緑色，青色の照射光はそれぞれ異なる角度で半田フィレットに入射するため、半田フィレットの傾斜に応じて撮像部２５に入射する反射光の色相が変化する。つまり、傾斜の急な部分では入射角度の最も浅い青色光の反射光が支配的となるのに対し、傾斜がほとんどない部分では赤色光の反射光が支配的となる。したがって、良品の半田フィレットでは青色の色相の領域が大きくなり、不良品の半田フィレットでは青色以外の色相の領域が大きくなるのである。本実施形態のフィレット検査では、このような色彩パターンの傾向を利用し、青色領域の大きさ（面積）に基づいて半田フィレットの良否判定を行う。

ところで、画像には、検査対象領域となる半田部分だけでなく、部品のリード（電極）も一緒に写り込んでいる。このリードの先端部分（半田と隣接する部分）は基板に水平なため、画像中では赤系色を呈する。つまり、リード部分の色は不良な半田部分の色と混同されやすく、フィレット検査の精度を低下させるおそれがある。

そこで本実施形態では、本検査に先立ち、リード部分と半田部分との境界を特定し、検査対象である半田部分のみを抽出する検査対象決定処理が行われる。以下、図４のフローチャートに沿って、基板上の実装部品を撮像する処理、検査対象領域決定処理、及び、本検査処理を順に説明する。

（１）部品撮像処理
指示情報受付機能１０は、基板検査の実行を指示する指示情報が入力されるまで待ち状態にある（ステップＳ１００；ＮＯ、ステップＳ１０１）。入力部４０の操作により、もしくは、通信Ｉ／Ｆ４３を介して外部機器から指示情報が入力されると、指示情報受付機能１０が指示情報を、基板搬入機能１１、ＣＡＤ情報読込機能１２および検査ロジック読込機能１５に送る（ステップＳ１００；ＹＥＳ）。この指示情報には検査対象となる基板の情報（型番など）が含まれている。

検査ロジック読込機能１５は、基板の型番に対応する検査ロジックを検査ロジック記憶部３５から読み込む（ステップＳ１０２）。ここではフィレット検査用の検査ロジックが読み込まれる。この検査ロジックには、検査対象領域決定処理用の第１パラメータセットと、本検査処理用の第２パラメータセットとが含まれる。第１パラメータセットは、二値化処理用の第１色パラメータと、境界判定用の第１判定条件とを含む。第２パラメータセットは、二値化処理用の第２色パラメータと、良否判定用の第２判定条件とを含む。

基板搬入機能１１は、指示情報に基づいてプリント基板搬入部から検査対象となる基板２０をコンベヤ２７上に搬入し（ステップＳ１０３）、ＣＡＤ情報読込機能１２は、基板の型番に対応するＣＡＤ情報をＣＡＤ情報記憶部３２ａから読み込む（ステップＳ１０４）。

次に、ステージ操作機能１３は、読み込まれたＣＡＤ情報から基板２０の寸法、形状、
部品の配置などの情報を得て、基板２０上に実装された複数の部品２１が順に観測位置（撮像位置）に位置合わせされるように、ＸＹステージコントローラ３７を介してＸステージ２２およびＹステージ２３を操作する（ステップＳ１０５）。

一方、撮像機能１４は、撮像コントローラ３１を介して投光部２４の３個の光源２８，２９，３０を発光させ、赤色、緑色、青色の光を同時に基板２０上に照射する。また、撮像機能１４は、撮像コントローラ３１を介して撮像部２５を制御し、ステージ２２，２３の操作に同期して基板２０上の部品２１を撮像する（ステップＳ１０６）。撮像された画像はメモリ３８に取り込まれる。

（２）検査対象領域決定処理
検査機能１６はまず、図５Ａに示すように、画像処理部３４によって撮像画像からリードと半田を含む部分画像を抽出する（ステップＳ１０７）。そして、検査機能１６は、抽出された部分画像を第１色パラメータを用いて二値化する（ステップＳ１０８）。第１色パラメータは、リード部分に現れる傾向にある色（赤系色）を規定する色条件であって、赤色の彩度の下限と上限、および、明度の下限と上限の４つの値で構成されている。二値化処理では、色パラメータで定義された色範囲内に含まれる画素が白画素に、それ以外の画素が黒画素に変換される。よって、二値化後の画像では、図５Ｂに示すように、リード部分に大きな白画素領域が現れる。

続いて、検査機能１６は、画像処理部３４にて、白画素領域の特徴量を抽出する（ステップＳ１０９）。具体的には、検査機能１６は、図５Ｃに示すように、白画素領域を構成するラインのうち、第１判定条件で規定された幅（以下、「規定幅」と呼ぶ）以上の長さをもつライン（以下、「規定幅ライン」と呼ぶ）を抽出し、その規定幅ラインが何本（何画素）連続して並んでいるか（以下、「規定幅ライン数」と呼ぶ）を計算する。

次に、検査機能１６は、規定幅ライン数と第１判定条件に含まれるしきい値とを比較することにより、リード部分と半田部分の境界を決定する（ステップＳ１１０）。例えば、しきい値として「５本」が設定されていたら、検査機能１６は、白画素領域のうち規定幅ラインが５本（５画素）以上連続して並んでいる範囲をリード部分とみなし、そのリード部分のエッジをリードと半田の境界とみなす。

以上の処理により、互いに隣接するリード部分と半田部分の境界を自動で決定でき、検査対象となる半田部分の画像（検査対象領域）のみを抽出することができる。

（３）本検査処理
検査機能１６は、検査対象領域決定処理で抽出された半田部分の画像を、第２色パラメータを用いて二値化する（ステップＳ１１１）。第２色パラメータは、良品の半田部分に現れる傾向にある色（青系色）を規定する色条件であって、青色の再度の下限と上限、および、明度の下限と上限の４つの値で構成されている。この第２色パラメータで二値化することにより、図５Ｄに示すように、半田の青系色部分を白画素領域として抽出できる。

続いて、検査機能１６は、この白画素領域の特徴量として、白画素領域の面積値を算出する（ステップＳ１１２）。そして、その面積値を判定部３６に引き渡し、判定部３６にて白画素領域の面積値と第２判定条件のしきい値とを比較する（ステップＳ１１３）。面積値がしきい値を超えた場合には、当該部品の半田実装品質が良と判定され（ステップＳ１１４）、面積値がしきい値以下の場合には、不良と判定される（ステップＳ１１５）。

判定結果書込機能１７は、上記判定結果をロケーションＩＤ（部品を特定するための情報）とともに判定結果記憶部３２ｂに書き込む（ステップＳ１１６）。

基板２０上のすべての部品について検査を行ったら、基板搬出機能１８がプリント基板搬送部によって基板２０を搬出し、基板検査処理を終了する（ステップＳ１１７）。

以上述べた基板検査処理によれば、２次元画像に現れる色彩パターンによって半田フィレットの３次元形状を的確に把握できるため、半田実装品質の良否を正確に判定可能となる。しかも、良否判定に際してノイズとなり得るリード部分の色を自動で除外できるので、判定精度の向上が図られる。

ところで、不良品の見逃しがなく、かつ、過検出が許容値以下になるような高い判定精度を実現するためには、予め検査ロジックのパラメータを検査対象に合わせて最適な値に設定しておく必要がある。本実施形態では、これらのパラメータの生成（ティーチング）は、パラメータ設定装置２によって自動的に行われる。以下、検査対象領域決定処理用の第１色パラメータ及び第１判定条件を生成する処理について詳しく説明する。

（パラメータ設定装置の構成）
パラメータ設定装置２は、図１に示すように、ＣＰＵ、メモリ、ハードディスク、Ｉ／Ｏ制御部、通信Ｉ／Ｆ、表示部、情報入力部（キーボードやマウス）などを基本ハードウェアとして備える汎用のコンピュータ（情報処理装置）によって構成される。

図６にパラメータ設定装置２の機能構成を示す。パラメータ設定装置２は、指示情報受付機能５０、教師画像読込機能５１、画像取得機能５２、パターン設定機能５３、マッピング機能５４、パターン選択機能５５、色範囲探索機能５６、二値化機能５７、判定条件算出機能５８、検査ロジック生成機能５９、検査ロジック書込機能６０を有する。これらの機能は、メモリもしくはハードディスクに格納されたプログラムがＣＰＵに読み込まれ実行されることによって実現されるものである。

また、ハードディスク内には、ティーチングに用いる教師画像を記憶する教師画像ＤＢ６１が設けられている。教師画像は、基板検査装置１によって撮像された実装部品の画像である。検査対象領域決定処理用のパラメータを生成する際には、教師画像として良品サンプルの画像だけを利用することが好ましい。良品のほうがリードと半田の色分布傾向の違いが明りょうだからである。なお、ティーチングの信頼性を高めるためには、数十〜数千の教師画像を準備するとよい。

（パラメータ設定処理）
図７のフローチャートに沿って、パラメータ設定処理の流れを説明する。

指示情報受付機能５０は、検査ロジックの自動生成を指示する指示情報が入力されるまで待ち状態にある（ステップＳ２００；ＮＯ、ステップＳ２０１）。情報入力部から指示情報が入力されると、指示情報受付機能５０は教師画像読込機能５１に指示情報を伝える（ステップＳ２００；ＹＥＳ）。この指示情報には検査ロジック生成の対象となる教師画像を特定する情報、および、検査ロジックの種類などが含まれている。

教師画像読込機能５１は、指示情報に従って、作成すべき検査ロジックに対応する複数の教師画像を教師画像ＤＢ６１から読み込む（ステップＳ２０２）。図８Ａは、教師画像の一例を示している。

教師画像が読み込まれたら、画像取得機能５２が、教師画像のそれぞれについて、リード部分と半田部分（ランド部分）の位置を大まかに特定する（ステップＳ２０３）。画像取得機能５２は、図８Ｂに示すように、部品本体ウィンドウ７０、リードウィンドウ７１
、ランドウィンドウ７２から構成されるテンプレートを有しており、これらのテンプレートを拡大／縮小したり、相対位置をずらしたりしながら、各ウィンドウ７０，７１，７２を画像中の部品本体、リード、ランドに合わせ込む。ウィンドウの合わせ込みには、たとえば、テンプレートマッチングなどの画像処理手法を利用すればよい。なお、ここでの区分け（ウィンドウの合わせ込み）は大まかで構わない。

次に、パターン設定機能５３が、教師画像のそれぞれに対し、複数パターンの色採取領域を設定する（ステップＳ２０４）。色採取領域は、リード部分の色を採取するための第１領域と、半田部分の色を採取するための第２領域とから構成される。図８Ｃに示すように、第１領域７３はリードウィンドウ７１の中に配置され、第２領域７４はランドウィンドウ７２の中に配置される。第１領域７３と第２領域７４それぞれの形状及び大きさは、各ウィンドウに対する相対値で定義されている。本実施形態では、１種類の第１領域と３種類の第２領域との組み合わせによる、３パターンの色採取領域が用いられる。パターンＡは、リードと半田の境界全域から色を採取するパターンであり、パターンＢは、境界の中央部のみから色を採取するパターンであり、パターンＣは、境界の両側部のみから色を採取するパターンである。

続いて、マッピング機能５４が、パターンＡ〜Ｃのそれぞれについて、第１領域と第２領域の全画素の色を色ヒストグラムにマッピングする（ステップＳ２０５）。このとき、第１領域の画素は「対象点」として、第２領域の画素は「除外点」として、互いに区別可能な形式でマッピングが行われる。ここで色ヒストグラムとは、色空間内の各点に画素の度数（個数）を記録したものである。色ヒストグラムにより、第１領域、第２領域それぞれの画素の色分布を把握することができる。なお、ここで言うところの画素とは、画像の最小解像度のことである。複数の画素でまとめてマッピング処理を実行すると混色が発生するため、画素ごとの処理が好ましい。

一般に、色空間は、少なくとも色相、彩度、明度の多次元空間からなる。よって、画素の色分布を正確に把握するには、多次元色空間に画素の色をマッピングした多次元色ヒストグラムを用いることが好ましい。

ただし、カラーハイライト方式では、光源に赤・青を使用していることから、半田部分（第２領域）には青の色が現れる傾向にある（これは、半田表面において鏡面反射に近い反射が生じるためである。）。また、上述のように、リード部分（第１領域）には赤の色が現れる傾向にある。したがって、リード部分と半田部分の境界を特定するための色パラメータを決定する目的であれば、１色（たとえば青色又は赤色）または２色（たとえば青色と赤色）を考慮すれば十分といえる。そこで、本実施形態では、第２領域に多く含まれ、かつ、第１領域にほとんど含まれない傾向にある色相として青色を選択し、青色の彩度軸と明度軸からなる２次元色空間に画素の色をマッピングした２次元色ヒストグラムを用いる。これにより、色パラメータの最適解を求めるアルゴリズムが極めて簡単化される。なお、赤色（第１領域に多く含まれ、かつ、第２領域にほとんど含まれない傾向にある色相）の彩度軸と明度軸からなる２次元色空間を用いてもよい。

図８Ｄは、２次元色ヒストグラムの一例を示している。横軸が青の彩度を表しており、プラスの値が大きくなるほど青成分が強くなり、マイナスの値が大きくなるほど青の補色である黄成分が強くなる。縦軸は明度を表しており、値が大きくなるほど明るさが強くなる。ヒストグラム中の白丸（○）が対象点を表し、黒三角（▲）が除外点を表している。対象点と除外点では色分布に違いがあること、そして、色採取領域のパターンごとに色分布傾向に違いがあることがわかる。

次に、パターン選択機能５５が、パターンＡ〜Ｃのそれぞれについて、色ヒストグラム
における対象点分布と除外点分布との分離度を算出する（ステップＳ２０６）。本実施形態では、分離度として、対象点の集合と除外点の集合の間の距離を採用し、距離が大きいほど分離度が大きいとする。なお、集合間の距離を計算する手法は従来より種々のものが提案されている。ここではどの手法を利用してもよい。例えば、「除外点分布の重心と対象点分布との間のマハラノビス距離」、「除外点分布と対象点分布の重心間のユークリッド距離」などが考えられる。また、経験的な数値を用いて、「重心間の距離に対して、（明度値を重視するため）明度軸方向の距離を重み付けする」ような方法を用いても良い。

そして、パターン選択機能５５は、分離度が最大となるパターンを、境界決定に用いる色採取領域として選択する（ステップＳ２０７）。ここで選択された色採取領域によれば、第１領域（リード部分）と第２領域（半田領域）の色分布傾向の差が最も顕著に現れるため、リードと半田の境界を精度よく判定可能である。

次に、色範囲探索機能５６が、２次元色ヒストグラムに基づいて、選択されたパターンにおける対象点の色分布と除外点の色分布とを最適に切り分ける色範囲を探索する（ステップＳ２０８）。本実施形態では、アルゴリズムの簡単化のため、図９Ａに示すように、彩度の下限（BInf）と上限（BSup）、および、明度の下限（LInf）と上限（LSup）からなる矩形の色範囲を考える。ここで求めるべき最適解は、対象点（○）をなるべく多く包含し、かつ、除外点（▲）をほとんど含まないような色範囲である。

具体的には、色範囲探索機能５６は、BInf、BSup、LInf、LSupそれぞれの値を変えながら、各色範囲について度数合計値Ｅを算出し（数式１参照）、度数合計値Ｅが最大となる色範囲を求める。度数合計値Ｅは、色範囲に含まれる対象点の数（度数）と除外点の数（度数）の差を表す指標である。図９Ｂは、度数合計値Ｅが最大となる色範囲を示している。

そして、色範囲探索機能５６は、度数合計値Ｅが最大となる色範囲を検査対象領域決定処理用の第１色パラメータ（色条件）として設定する（ステップＳ２０９）。このように、本実施形態によれば、リード部分の色（対象点）と半田部分の色（除外点）とを適切に切り分ける色パラメータを自動的に生成することができる。

次に、上記色パラメータを用いて、検査対象領域決定処理用の第１判定条件（規定幅及び規定幅ライン数）を自動生成する処理が実行される。

まず、二値化機能５７が、上記第１色パラメータを用いて、各教師画像を二値化する（ステップＳ２１０）。この二値化処理では、色パラメータで定義された色範囲内に含まれる画素が白画素に、それ以外の画素が黒画素に変換される。図１０Ａは教師画像を二値化した結果を示している。リード部分に白画素領域の大きなかたまりが現れていることがわ
かる。このような二値化画像を利用すると、リードと半田の境界を識別するための特徴量を定量的に計算するのが容易になる。

判定条件算出機能５８は、以下に述べるように、全ての教師画像の白画素領域のもつ特徴量を統計解析することにより、リード部分と半田部分の境界を判定するための条件（規定幅及び規定幅ライン数）を自動算出する。

まず、ステップＳ２０３におけるリード部分と半田部分の特定結果（テンプレートマッチング結果）を用いて、境界候補範囲を決定する（ステップＳ２１１）。具体的には、リードウィンドウ７１とランドウィンドウ７２の境界を中心とする±α画素の範囲を境界候補範囲と定める（αは任意の数であり、本例ではα＝２とする）。つまり、「真の境界は、テンプレートマッチング結果の境界に近い位置にある」という前提のもと、境界の存在範囲を絞りこむことで境界探索処理を簡単化するのである。

次に、判定条件算出機能５８は、幅及びライン数の探索範囲を次のように設定する（ステップＳ２１２）。なお、幅は、リードウィンドウ７１の幅に対する割合で定義される。
・幅：Ｗｍｉｎ〜Ｗｍａｘ（％） （Ｗｍｉｎ，Ｗｍａｘは任意の数、本例ではＷｍｉｎ＝４０％、Ｗｍａｘ＝９０％とする）
・ライン数：Ｌｍｉｎ〜Ｌｍａｘ（本） （Ｌｍｉｎ，Ｌｍａｘは任意の数、本例ではＬｍｉｎ＝１本、Ｌｍａｘ＝５本とする）

次に、判定条件算出機能５８は、各教師画像について、白画素領域に内包される矩形であって、その幅及びライン数（長さ）が上記探索範囲内に含まれ、且つ、その端部（エッジ）が上記境界候補範囲内に含まれる、という条件を満たす矩形を探索する（ステップＳ２１３）（図１０Ｂ参照）。そして、それらの矩形の中から面積最大のものを選択し、その選択された矩形の幅及びライン数をグラフにプロットしていく（ステップＳ２１４）（図１０Ｃ参照）。

全ての教師画像についてプロットが終了したら、判定条件算出機能５８は最も多くプロットされている幅及びライン数を、検査対象領域決定処理用の第１判定条件である規定幅及び規定幅ライン数に設定する（ステップＳ２１５）。

以上の処理により、検査対象領域決定処理に必要な全てのパラメータが自動生成される。

その後、検査ロジック生成機能５９が、第１色パラメータ、規定幅及び規定幅ライン数から、検査ロジックの第１パラメータセットを生成し（ステップＳ２１６）、検査ロジック書込機能６０がその第１パラメータセットを基板検査装置１の検査ロジック記憶部３５に書き込む（ステップＳ２１７）。以上で検査対象領域決定処理用のパラメータ設定処理が終了する。

なお、本検査処理用の第２パラメータセットについては、パラメータ設定装置２によって自動で生成される場合と、手動で設定される場合とがある。自動生成の場合、上記第１パラメータセットを用いて良品及び不良品の教師画像から検査対象領域（半田領域）を抽出し、良品画像の検査対象領域に含まれる画素を対象点、不良品画像の検査対象領域に含まれる画素を除外点として２次元色ヒストグラムにマッピングし、上記と同様にして、対象点と除外点を切り分けるための第２色パラメータを生成すればよい。また、第２判定条件に関しては、良品画像と不良品画像をそれぞれ第２色パラメータで二値化し、白画素領域の特徴量（面積など）の差異に基づき、良／不良を判定するためのしきい値を算出すればよい。このようにして生成される第２パラメータセットも、検査ロジック記憶部３５に
格納される。

以上述べた本実施形態によれば、リード部分と半田部分の色分布傾向の違いが最も顕著に現れる色採取領域が選択されるため、色分布傾向にバラツキのある教師画像からでも、リード部分と半田部分の境界を特定するために用いられるパラメータを自動生成することができ、ティーチング作業の軽減、さらにはティーチングの自動化を図ることが可能となる。そして、このパラメータを用いて検査対象領域（半田部分）を精度よく抽出できるため、基板検査の精度および信頼性を向上することができる。

＜変形例＞
上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。

また、上記実施形態では２次元の色ヒストグラム（色空間）を用いたが、多次元（色相、彩度、明度）の色ヒストグラムを用いてもよい。また、２次元色ヒストグラムについても、赤の彩度軸ではなく、青、緑、黄など他の色相の彩度軸を用いたり、彩度軸ではなく色相軸を用いたりしてもよい。色ヒストグラムの軸の選択は、基板検査装置で撮像された部品画像がもつ色彩パターンの傾向に合わせて決定すればよい。

また、色範囲は矩形に限らず、円形、多角形、自由曲線図形などを用いてもよい。さらに、色ヒストグラムが多次元の場合には、色範囲も多次元形状にするとよい。

本発明の実施形態に係る基板検査システムのハードウェア構成を示す図。 基板検査装置の機能構成を示す図。 半田フィレットの形状と撮像パターンの関係を示す図。 基板検査処理の流れを示すフローチャート。 検査対象領域決定処理を示す図。 パラメータ設定装置の機能構成を示す図。 検査対象領域決定処理用のパラメータ設定処理の流れを示すフローチャート。 色採取領域決定処理を示す図。 色範囲の探索処理を示す図。 第１判定条件の算出処理を示す図。 カラーハイライト方式の基板検査装置の構成を示す図。 撮像画像に現れる色彩パターンの一例を示す図。 色パラメータの設定支援ツールを示す図。 部品種の違いによる半田部分の色分布傾向の違いを示す図。

符号の説明

１ 基板検査装置
２ パラメータ設定装置
１０ 指示情報受付機能
１１ 基板搬入機能
１２ ＣＡＤ情報読込機能
１３ ステージ操作機能
１４ 撮像機能
１５ 検査ロジック読込機能
１６ 検査機能
１７ 判定結果書込機能
１８ 基板搬出機能
２０ 基板
２１ 実装部品
２２ Ｘステージ
２３ Ｙステージ
２４ 投光部
２５ 撮像部
２６ 制御処理部
２７ コンベヤ
２８ 赤色光源
２９ 緑色光源
３０ 青色光源
３１ 撮像コントローラ
３２ 記憶部
３２ａ ＣＡＤ情報記憶部
３２ｂ 判定結果記憶部
３３ Ａ／Ｄ変換部
３４ 画像処理部
３５ 検査ロジック記憶部
３６ 判定部
３７ ＸＹステージコントローラ
３８ メモリ
３９ 制御部
４０ 入力部
４１ 表示部
４２ プリンタ
５０ 指示情報受付機能
５１ 教師画像読込機能
５２ 画像取得機能
５３ パターン設定機能
５４ マッピング機能
５５ パターン選択機能
５６ 色範囲探索機能
５７ 二値化機能
５８ 判定条件算出機能
５９ 検査ロジック生成機能
６０ 検査ロジック書込機能
７０ 部品本体ウィンドウ
７１ リードウィンドウ
７２ ランドウィンドウ
７３ 第１領域
７４ 第２領域

Claims (9)

1. 基板上の実装部品に異なる入射角で複数の色の光を照射し、その反射光を撮像して得られた画像において基板上の第１部分と第１部分に隣接する第２部分との境界を特定するために、前記第１部分に現れる傾向にある色を規定する所定の色条件を満たす領域を前記画像から抽出し、抽出された領域のもつ特徴量と所定の判定条件とを比較することにより前記境界を決定する基板検査処理において用いられるパラメータを自動生成する方法であって、
   情報処理装置が、
   部品を撮像して得られた複数の教師画像を取得し、
   前記教師画像のそれぞれに対し、前記第１部分の色を採取するための第１領域と前記第２部分の色を採取するための第２領域からなる色採取領域を複数パターン設定し、
   前記色採取領域のそれぞれのパターンについて、第１領域内の各画素の色を対象点として、第２領域内の各画素の色を除外点として、それぞれ色空間にマッピングし、
   前記色採取領域のそれぞれのパターンについて、前記色空間における対象点分布と除外点分布との分離度を算出し、
   前記分離度が最大となる色採取領域のパターンを選択し、
   前記色空間を分割する色範囲であって、そこに含まれる前記選択されたパターンにおける対象点の数と除外点の数の差が最大となるような色範囲を求め、
   求められた前記色範囲を前記基板検査処理で用いられる色条件として設定する
   基板検査装置のパラメータ設定方法。
2. 前記色空間は、前記第１部分に多く含まれ、かつ、前記第２部分にほとんど含まれない傾向にある色相、又は、前記第２部分に多く含まれ、かつ、前記第１部分にほとんど含まれない傾向にある色相についての彩度軸と明度軸から少なくともなる多次元色空間である請求項１記載の基板検査装置のパラメータ設定方法。
3. 前記色条件は、彩度の下限と上限、および、明度の下限と上限からなる
   請求項２記載の基板検査装置のパラメータ設定方法。
4. 前記情報処理装置が、
   前記教師画像のそれぞれから前記色条件を満たす画素領域を抽出し、
   それら画素領域のもつ特徴量を統計解析することにより、前記第１部分と第２部分の境界を判定するための条件を算出し、
   算出された前記条件を前記基板検査処理で用いられる判定条件として設定する
   請求項１〜３のいずれかに記載の基板検査装置のパラメータ設定方法。
5. 基板上の実装部品に異なる入射角で複数の色の光を照射し、その反射光を撮像して得られた画像において基板上の第１部分と第１部分に隣接する第２部分との境界を特定するために、前記第１部分に現れる傾向にある色を規定する所定の色条件を満たす領域を前記画像から抽出し、抽出された領域のもつ特徴量と所定の判定条件とを比較することにより前記境界を決定する基板検査処理において用いられるパラメータを自動生成するための装置であって、
   部品を撮像して得られた複数の教師画像を取得する画像取得手段と、
   前記教師画像のそれぞれに対し、前記第１部分の色を採取するための第１領域と前記第２部分の色を採取するための第２領域からなる色採取領域を複数パターン設定するパターン設定手段と、
   前記色採取領域のそれぞれのパターンについて、第１領域内の各画素の色を対象点として、第２領域内の各画素の色を除外点として、それぞれ色空間にマッピングするマッピング手段と、
   前記色採取領域のそれぞれのパターンについて、前記色空間における対象点分布と除外点分布との分離度を算出し、前記分離度が最大となる色採取領域のパターンを選択するパターン選択手段と、
   前記色空間を分割する色範囲であって、そこに含まれる前記選択されたパターンにおける対象点の数と除外点の数の差が最大となるような色範囲を求める色範囲探索手段と、
   求められた前記色範囲を前記基板検査処理で用いられる色条件として設定する色条件設定手段と、
   を備える基板検査装置のパラメータ設定装置。
6. 前記色空間は、前記第１部分に多く含まれ、かつ、前記第２部分にほとんど含まれない傾向にある色相、又は、前記第２部分に多く含まれ、かつ、前記第１部分にほとんど含まれない傾向にある色相についての彩度軸と明度軸から少なくともなる多次元色空間である請求項５記載の基板検査装置のパラメータ設定装置。
7. 前記色条件は、彩度の下限と上限、および、明度の下限と上限からなる
   請求項６記載の基板検査装置のパラメータ設定装置。
8. 前記教師画像のそれぞれから前記色条件を満たす画素領域を抽出する領域抽出手段と、
   それら画素領域のもつ特徴量を統計解析することにより、前記第１部分と第２部分の境界を判定するための条件を算出する条件決定手段と、
   算出された前記条件を前記基板検査処理で用いられる判定条件として設定する判定条件設定手段と、
   をさらに備える請求項５〜７のいずれかに記載の基板検査装置のパラメータ設定装置。
9. 請求項８記載のパラメータ設定装置により設定された色条件および判定条件を記憶する記憶部と、
   基板上の実装部品に異なる入射角で複数の色の光を照射する投光手段と、
   その反射光を撮像して得られた画像において基板上の第１部分と第１部分に隣接する第２部分との境界を特定するために、前記色条件を満たす領域を前記画像から抽出し、抽出された領域のもつ特徴量と前記判定条件とを比較することにより前記境界を決定する境界決定手段と、
   前記境界を基準にして検査対象領域を抽出し、前記検査対象領域に対して検査処理を施す検査手段と、
   を備える基板検査装置。

Images