JP2006072913A

JP2006072913A - 部品検査用のモデル登録方法およびこの方法を用いた検査データ作成装置

Info

Publication number: JP2006072913A
Application number: JP2004258487A
Authority: JP
Inventors: Kiyoshi Murakami; 清村上; Yasunori Asano; 靖典浅野; Takashi Kinoshita; 崇木下; Teruhisa Yotsuya; 輝久四ッ谷
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2004-09-06
Filing date: 2004-09-06
Publication date: 2006-03-16
Anticipated expiration: 2024-09-06
Also published as: JP4470659B2

Abstract

【課題】部品の抽出結果が適切であるか否かを簡単かつ正確に把握できるようにする。
【解決手段】濃度変化の方向を示す角度データ（エッジコード）について、４つの角度範囲にそれぞれ赤、緑、青、白の色彩を割り当てる。部品実装状態の検査のためにエッジコードによるモデル（マッチングモデル）を登録すると、所定の基準基板の画像から生成したエッジコード画像をこのマッチングモデルにより照合し、部品に対応する画像領域を抽出する。さらに、処理対象の画像上のエッジコードをそれぞれ割り当てられた色彩に置き換えたカラー画像を生成して表示するとともに、このカラー画像上にマッチングモデルにより抽出された画像領域を着色表示する。さらにこの表示の隣には、前記マッチングモデルの各エッジコードを色彩に置き換えた画像（表示用モデル）を表示する。
【選択図】図８

Description

この発明は、部品実装基板を撮像して得られた画像を用いて、部品の欠落がないかどうかや、実装位置や方向が適切であるかなど、部品実装状態の良否を判別する検査に関する。特にこの発明は、この検査の対象となる部品を抽出するためのモデル画像を登録する方法、およびその登録方法が適用された検査データ作成装置に関する。

出願人は、近年、下記の特許文献１に記載された発明を応用して基板上の部品を抽出し、その抽出結果を用いて部品実装状態の良否判別を行うようにした検査装置を開発した。

特開２００２−２３０５４９公報

上記特許文献１に記載の発明は、処理対象の濃淡画像から濃度変化の方向を示す角度データ（以下、「エッジコード」という。）を求め、このエッジコードの分布パターンをモデルのパターンと比較することにより、前記モデルに対応する画像領域を抽出するものである。従来の検査装置では、検査に先立ち、基板に実装されたモデルの部品の濃淡画像を入力し、この画像上の各エッジ画素とそのエッジコードとを対応づけたパターン画像（以下、「エッジコード画像」という。）を作成し、これをモデルパターンとして登録する。また検査の際には、処理対象の濃淡画像について、同様にエッジコード画像を作成し、このエッジコード画像上に前記モデルパターンを走査して照合することにより、部品に対応する画像領域を抽出する。

上記のようなモデルパターンを登録する際には、作成されたモデルパターンが部品を正しく抽出することができるかどうかを検証した上で、モデルパターンを本登録するのが望ましい。このため、従来の検査装置では、前記基準基板のエッジ画像を表示し、このエッジ画像上に部品の抽出結果を重ね合わせて表示するなどして、ユーザーに部品抽出の精度を判断させるようにしている。

しかしながら、単なるエッジ画像を表示したのでは、エッジ部分の濃度変化の方向を判別することは不可能であり、部品の抽出結果が適切であるか否かを正しく判別できない場合がある。たとえば、部品の近傍にノイズが生じているために、ノイズと部品の輪郭線との見分けがつかなくなると、部品が正しく抽出されているのか、抽出位置がずれているのかを判別できない状態となる。また抽出対象の部品に形状が似通っているが、基板に対する明るさの関係が異なる部品が前記抽出対象の部品の近傍にある場合、エッジ画像上の輪郭線から２つの部品を見分けるのは、およそ不可能である。

一方、エッジコード画像は階調変換して表示することが可能であるが、このような画像では、部品の輪郭形状を把握するのは困難である。エッジコードは０〜３６０度の範囲の角度データであるため、これを濃淡の度合に置き換えた場合、エッジコードが小さいエッジ画素がエッジを構成しない画素と殆ど変わらない濃度になり、エッジを認識しにくい状態になるからである。

この発明は上記の問題点に着目してなされたもので、抽出対象の部品の各種輪郭線における濃度変化の方向を簡単に把握できるような画像を表示することにより、部品の抽出結果が適切であるか否かを簡単かつ正確に把握できるようにすることを目的とする。

この発明にかかる部品検査用のモデル登録方法は、基板に実装されたモデルの部品の濃淡画像から濃度変化の方向を示す角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を部品抽出用のモデルパターンとして登録するものである。この発明では、あらかじめ前記角度データの取り得る角度範囲を所定数の領域に分割して、各領域にそれぞれ個別の色彩を割り当てておき、モデルパターンに対応する部品が実装された基板を撮像して得た濃淡画像から前記角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を生成する第１ステップと、前記第１ステップで生成されたパターン画像を前記モデルパターンにより照合して、前記パターン画像上でモデルパターンに対応する画像領域の位置および範囲を抽出する第２ステップと、前記第１ステップで生成されたパターン画像中の角度データをそれぞれその角度データに対応する領域の色彩に置き換えたカラー画像を作成する第３ステップと、前記第２ステップで抽出された画像領域の位置および範囲を前記カラー画像上に合成した画像を作成して表示する第４ステップとを実行するようにしている。

上記において、濃度変化の方向とは、エッジ画素を境に明るさが変化する方向であって、暗い部分から明るい部分に変化する方向、またはその反対の方向を示すと考えることができる。具体的には、特許文献１に開示したように、水平方向における濃度勾配ベクトルと、垂直方向における濃度勾配ベクトルとの合成ベクトルによって表すことができる。
濃度変化の方向を示す角度データ（前記したエッジコードに相当する。）は、特定の基準方向に対する角度により表すことができる。またその角度は、通常、０度から３６０度の範囲内の任意の値になると考えることができる。なお、この角度データは、所定大きさ以上の濃度変化量を有する画素（すなわちエッジ画素）に対してのみ抽出するのが望ましい。

角度データの取り得る角度範囲に対する領域の分割数は任意に設定することができる。ただし、基板上の部品を処理対象とする点を考慮すれば、０度、９０度、１８０度、２７０度の各角度がそれぞれ異なる領域に含まれるように、少なくとも４個の領域に分割するのが望ましい。各領域には、それぞれ任意の色彩を割り当てることができるが、領域間での色彩の違いが明確になるようにするのが望ましい。

上記の方法によれば、モデルパターンとなるパターン画像を作成した後、基板の画像から生成したパターン画像を前記モデルパターンにより照合して部品に該当する画像領域を抽出し、その抽出結果の適否判別のための画像を表示する。ここで表示される画像は、処理対象のパターン画像中の角度データをそれぞれその角度データに対応する色彩に置き換えたカラー画像となるので、ユーザーは、背景の色彩以外の色彩で表されている画素をエッジ画素として認識することができる。

また、カラー画像を作成する第３ステップでは、各画素における濃度変化量の大きさ（エッジの強さ）に応じて色彩の濃淡度合を変化させるようにしてもよい。好ましくは、エッジ強度が高いほど色彩が濃くなるように設定するとよい。
このような方法によれば、ユーザーは、色彩の濃淡表示を見ながら、所定大きさ以上の濃度変化量を有する画素を抽出するためのしきい値を設定することができる。その結果、ノイズ等により所定大きさ未満の濃度変化量が生じた画素の色彩を除去し、部品の各種輪郭線のみを抽出することができる。

また、上記の方法では、部品と基板本体との間の明暗の関係や、部品における明暗の分布状態（部品本体、電極、はんだなどの間における明るさの違いを反映したもの）に基づき、モデルに対応する部品にかかる各種の輪郭線がどのような色彩で表示されるかを、ユーザーに教示するのが望ましい。この教示の好ましい方法として、前記モデルパターンについて同様のカラー画像を作成し、これを基板にかかるカラー画像と同じ画面上に並列表示することができる。このようにすれば、ユーザーは、処理対象の基板のカラー画像とモデルのカラー画像とを見比べて、部品に対応する画像領域を容易に認識することができる。

基板のカラー画像に合成される画像領域の位置および範囲は、前記角度データの色彩表示を妨げないものであるのが望ましい。たとえば、抽出された画像領域の内部を、角度データの表示色を透過可能な明度の高い色彩で着色することができる。または、画像領域の境界線を表示するが、この境界線が角度データの表示色にかかる場合には、境界線を若干ずらして表示するように設定することもできる。このような方法で表示された画像領域が前記カラー画像の色彩分布から判別した部品の部分に対応しているかどうかをチェックすることにより、モデル画像により部品が正しく抽出されているかどうかを簡単に判別することができる。

この発明にかかる検査データ作成装置は、検査データの作成に必要な濃淡画像を入力する画像入力手段と、前記画像入力手段が入力した画像から濃度変化の方向を示す角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を作成するパターン画像作成手段と、前記角度データの取り得る角度範囲から分割された所定数の領域毎に個別の色彩を対応づけて記憶する色彩記憶手段と、前記画像入力手段からモデルの部品の濃淡画像が入力されたとき、この濃淡画像から作成されたパターン画像を部品抽出用のモデルパターンとして登録する登録手段と、前記画像入力手段から前記モデルパターンに対応する部品が実装された基板の濃淡画像が入力されたとき、この濃淡画像から作成されたパターン画像を前記登録手段に登録されたモデルパターンにより照合して、前記パターン画像上でモデルパターンに対応する画像領域の位置および範囲を抽出する対応領域抽出手段と、前記色彩記憶手段に記憶された領域と色彩との対応関係に基づき、前記基板の濃淡画像から作成されたパターン画像中の角度データをそれぞれその角度に対応する領域の色彩に置き換えたカラー画像を作成するカラー画像作成手段と、前記対応領域抽出手段により抽出された画像領域の位置および範囲を前記カラー画像上に合成した画像を作成し、この合成画像を表示する表示制御手段とを具備する。

上記の検査装置において、画像入力手段は、カメラからの画像信号を入力するためのインターフェース回路などにより構成することができる。または、外部機器から処理対象の画像データの送信を受ける通信用のインターフェース回路、または処理対象の画像データが格納された記憶媒体にアクセスするためのドライブ装置などを、画像入力手段とすることもできる。この装置には、表示制御手段が出力した合成画像を表示するためのモニタを、ケーブル接続または装置に一体に設けることができる。

パターン画像作成手段、対応領域抽出手段、カラー画像作成手段、表示制御手段は、それぞれその手段の機能を設定するためのプログラムが組み込まれたコンピュータにより構成することができる。各手段は同一のコンピュータに組み込むことができる。また、色彩記憶手段および登録手段は、このコンピュータ内のメモリまたは前記コンピュータに外付けされたメモリ内に設定することができる。

上記構成の検査データ作成装置では、まずモデルの部品の濃淡画像を入力し、この入力画像からモデルパターンを作成して登録する。つぎに、モデルに対応する部品が実装された基板の濃淡画像を入力し、前記した第１〜４の各ステップを実行して、部品の抽出結果の適否を判断するための画像を表示する。

上記の検査データ作成装置は、パーソナルコンピュータなどの汎用の装置により構成することができる。また、部品実装状態の検査に用いられる検査装置内に導入することもできる。

好ましい態様にかかる検査データ作成装置では、前記登録手段に、前記モデルパターンとともに、このモデルパターン中の角度データをそれぞれその角度に対応する領域の色彩に置き換えたモデルカラー画像が登録されている。また、前記表示制御手段には、前記登録手段からモデルカラー画像を読み出す手段と、読み出されたモデルカラー画像の色彩を前記基板上の部品に対する回転角度に基づき補正する手段とを有し、前記色彩補正後のモデルカラー画像を前記合成画像とともに出力する。

上記の態様によれば、あらかじめモデルパターンから作成されたモデルカラー画像を用いて、抽出対象の部品の輪郭線に現れるべき色彩を示す画像が前記合成画像とともに表示される。この場合に、モデルの部品に対して抽出対象の部品が回転していると、その回転角度に応じてモデルカラー画像の色彩が補正されるから、モデル側の各輪郭線を抽出対象の部品と同様の色彩で表すことができる。よって、ユーザーは処理対象の基板にかかるカラー画像とモデルカラー画像との色彩分布を見比べることにより、抽出対象の部品の輪郭線を簡単に判別することができる。

この発明によれば、濃度変化の方向を示す角度データによるパターン画像を用いて部品の抽出処理を行う場合に、処理対象のパターン画像をこの画像中の角度データの大きさに応じた色彩が分布されたカラー画像に変換し、このカラー画像に部品抽出結果を示す情報を合成して表示するようにしたから、使用されたモデル画像による部品抽出結果が適切であるかどうかを簡単かつ正確に判別することができる。

図１は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板を撮像して得た画像を処理して、前記基板上の部品の実装状態の適否などを判別するためのもので、撮像部３，投光部４，制御処理部５，Ｘ軸テーブル部６，Ｙ軸テーブル部７などにより構成される。
なお、図中の１Ｔは、検査対象の基板（以下「被検査基板１Ｔ」という。）である。また１Ｓは、部品の実装状態が良好な基準基板であって、検査に先立つティーチング時に用いられる。

前記Ｙ軸テーブル部７は、基板１Ｓ，１Ｔを支持するコンベヤ７Ａを具備し、図示しないモータによりこのコンベヤ７Ａを動かして、前記基板１Ｓ，１ＴをＹ軸方向に（図の紙面に直交する方向）に沿って移動させる。前記Ｘ軸テーブル部６は、Ｙ軸テーブル部７の上方で、撮像部３および投光部４を支持しつつ、これらをＸ軸方向（図の左右方向）に移動させる。

前記投光部４は、異なる径を有する３個の円環状光源８，９，１０により構成される。これらの光源８，９，１０は、それぞれ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板１Ｓ，１Ｔから見て、異なる仰角に対応する方向に位置するように配備される。

前記撮像部３は、カラー画像生成用のＣＣＤカメラを含むもので、その光軸が各光源８，９，１０の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板１Ｓ，１Ｔからの反射光が撮像部３に入射し、三原色のカラー信号Ｒ，Ｇ，Ｂに変換されて制御処理部５へ入力される。

制御処理部５は、ＣＰＵを含むコンピュータを制御部１１として、画像入力部１２、メモリ１３、撮像コントローラ１４、画像処理部１５、照明制御部１６、ＸＹテーブルコントローラ１７、検査部１８、ティーチングテーブル１９、データ管理部２０、入力部２１、ＣＲＴ表示部２２、プリンタ２３、送受信部２４、外部メモリ装置２５などを構成として含む。

画像入力部１２は、撮像部３からのＲ，Ｇ，Ｂの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのＡ／Ｄ変換回路などを備える。メモリ１３には、各色彩毎のディジタル濃淡画像データのほか、これら濃淡画像を処理して得られる２値画像データや色相データなどが格納される。また、部品実装状態の検査やその検査用のデータを作成する際には、メモリ１３には、後記するエッジ画像やエッジコード画像などが格納される。

撮像コントローラ１４は、撮像部３を制御部１１に接続するインターフェースなどを備えるもので、制御部１１からの命令に基づいて前記撮像部３を駆動したり、各色彩光の出力レベルを調整するなどの制御を行う。照明制御部１６は、投光部４の各光源の光量を調整するためのものである。なお、この実施例では、赤、緑、青の各色彩光が混合されることによって白色照明が施されるように、各光源８，９，１０の光量を調整するようにしている。

ＸＹテーブルコントローラ１７は、前記Ｘ軸テーブル部６およびＹ軸テーブル部７を制御部１１に接続するインターフェースなどを含み、制御部１１からの指令に基づき、Ｘ軸テーブル部６およびＹ軸テーブル部７の移動動作を制御する。

ティーチングテーブル１９は、基板の検査データを記憶するための記憶部である。この検査データには、検査領域の設定位置や大きさのほか、部品実装状態を判別するための検査データとして、各種部品のモデル画像や、後記するエッジコード画像やコード表示画像のモデルなどを登録する。

上記の検査データは、検査に先立ち、前記基準基板１Ｓを撮像して得られた画像や、あらかじめ入力された部品のモデルの画像を用いて係員により教示される。これらの検査データは、基板の種類毎に判定ファイルとしてまとめられる。前記データ管理部２０は、基板の種類と判定ファイルとを対応づけるリンク情報が格納されたメモリである。制御部１１は、被検査基板１Ｔの基板名の入力を受け付けた後、データ管理部２０のリンク情報に基づき、その被検査基板１Ｔに対応する判定ファイルを読み出してメモリ１３にセットする。画像処理部１５や検査部１８は、この読み出された判定ファイル内の検査情報に基づき処理を実行する。

画像処理部１５は、検査時に、メモリ１３に格納されたＲ，Ｇ，Ｂの各階調によるカラー画像を後記する手順で処理して、部品に該当する画像領域を抽出する。検査部１８は、この部品の抽出位置を部品の基準の実装位置と比較することにより、各部品の欠落や位置ずれを判別する。

制御部１１は、検査部１８における各種判別処理の結果を総合して被検査基板１Ｔが良品か否かを判定する。この最終的な判定結果は、ＣＲＴ表示部２２やプリンタ２３，あるいは送受信部２４に出力される。

前記入力部２１は、検査のための各種条件や検査情報の入力などを入力するためのもので、キーボードやマウスなどにより構成される。ＣＲＴ表示部２２（以下、単に「表示部２２」という。）は、制御部１１から画像データ、検査結果などの供給を受けて、これらを表示画面上に表示する。またプリンタ２３は、制御部１１から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。

送受信部２４は、他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板１Ｔについて、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置２５は、フレキシブルディスク、ＣＤ−Ｒ、光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。

なお、上記構成において、画像処理部１５および検査部１８は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも、専用のプロセッサを設ける必要はなく、制御部１１に画像処理部１５および検査部１８の機能を付与するようにしてもよい。

また、上記の基板検査装置においてはんだ付け後の基板を検査する場合には、前記した部品実装状態の検査に加え、はんだ付け状態の検査を行うことができる。この検査では、前記投光部４の光源の配置を利用して、基板のはんだ付け部位からの鏡面反射光を撮像し、得られた画像上の色彩の分布状態に基づき、はんだの傾斜状態の良否を判別する。

以下では、前記部品の実装状態の検査や、この検査のための検査データを登録する方法について説明する。
この実施例では、検査対象のカラー画像をモノクロ変換し、この変換後の画像上のエッジ画素につき、それぞれエッジコードを算出する。つぎに、このエッジコードと画素とを対応づけたパターン画像（エッジコード画像）を作成し、このエッジコード画像にあらかじめ登録したモデルのエッジコード画像（以下、「マッチングモデル」という。）を操作して照合する処理（以下、「エッジコードマッチング」という。）を実行することにより、検査対象の部品を抽出する。ここで部品が基準の実装位置で抽出されると、部品が適正に実装されていると判断される。一方、部品が抽出されなかったり、抽出位置が基準の実装位置からずれたりすると、部品が欠落または位置ずれしていると判断される。

検査データとして登録される部品の濃淡画像のモデル（以下、「モデル画像」という。）は、部品のモデルが実装された基板のカラー画像から前記部品モデルを含む小領域を切り出すことにより設定される。また、前記エッジコードマッチングに使用されるマッチングモデルは、前記モデル画像をモノクロ変換した画像から生成される。

さらにこの実施例では、ユーザーが前記基本のモデル画像やマッチングモデルが部品を抽出するのに適しているかどうかを確認する際に、基準基板１Ｓの画像から作成したエッジコード画像を対象として、登録されたマッチングモデルによるエッジコードマッチングを実行し、その処理結果を前記表示部２２に表示する。この場合の表示画面では、マッチング対象のエッジコード画像やマッチングモデルが、各エッジコードを所定の色彩に置き換えたカラー画像として表示される。さらに、マッチング対象の画像表示のうち部品として抽出された画像領域に、所定の色彩（たとえば黄色）による着色表示が行われる。

ここで、エッジコード画像をカラー表示する方法について説明する。
前記エッジコードは、画像上のエッジ画素を境に濃度が変化する方向を示す角度データである。具体的には、図２に示すように、ｘ軸方向の濃度変化量Δｘによるベクトルｆｘと、ｙ軸方向の濃度変化量Δｙによるベクトルｆｙとの合成ベクトルＦを求め、このベクトルＦの基準方向（この実施例ではｘ軸の正方向とする。）に対する角度ＥＣをエッジコードとする。なお、この実施例のベクトルｆｘ，ｆｙは、暗い方から明るい方に向かう方向を示すベクトルである。よって合成ベクトルＦの向きも、暗い方から明るい方に向かう方向を示すものとなる。

上記のエッジコードは、０度から３６０度までの角度範囲内の任意の値をとると考えることができる。そこでこの実施例では、図３に示すように、４５度、１３５度、２２５度、３１５度の各方位を境界として、エッジコードが取り得る角度範囲を４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４に分割し、これらの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４にそれぞれ赤色、緑色、青色、白色の各色彩を対応づける。そして、画像上の各エッジ画素につきエッジコードを算出すると、これらのエッジ画素にそれぞれ算出されたエッジコードに対応する領域の色彩を設定し、その設定によるカラー画像を作成する。以下では、このカラー画像を「コード表示画像」という。

たとえば、エッジコードが０度の画素は赤色になり、エッジコードが９０度の画素は緑色になる。また、エッジコードが１８０度の画素は青色になり、エッジコードが２７０度の画素は白色になる。なお、この実施例では、画像上の全構成画素につき、前記Δｘ，Δｙを用いて濃度勾配強度（前記ベクトルＦの長さに相当する。以下、これを「エッジ強度」という。）を求め、このエッジ強度が所定値以上の画素についてエッジコードを算出する。また、エッジコードが算出されなかった画素には、背景色として黒色を設定している。

図４（１）は、部品を撮像して得た原カラー画像の例である。なお、この図では、各種色彩をそれぞれ異なる塗りつぶしパターンにより示している。
この例の画像において、３０は部品を、３１は電極を、３２は基板上のクリームはんだを、それぞれ示す。また、周囲の斜線部分３３は、基板本体の色彩が現れた部分である。なお、図中、各部の境界位置にまたがって設定された矢印は、前記ベクトルＦの方向を模式的に示すものである。この例では、電極３１が最も明るく、以下、部品３０、クリームはんだ３２、基板本体３３の順に暗い色彩になっている。

図４（２）は、図４（１）の画像から作成したエッジコード画像上の各エッジコードをそれぞれ前記図３の色彩に置き換えることにより生成されたコード表示用画像である。なお、この図４（２）では、赤、緑、青、白の４種類の色彩による輪郭線を、それぞれ異なる種類の線により示す。なお、図中の白地部分は、実際の画像では、背景色の黒色となる。

この実施例では、前記部品モデルについて、モデル画像やマッチングモデルのほか、前記コード表示画像のモデル（以下、「表示用モデル」という。）を作成し、ティーチングテーブル１９内に登録するようにしている。図５および図６は、この登録処理にかかる一連の流れを示すものである。以下、この流れに沿って、上記した３種類のモデルを登録する手順の詳細を説明する。

この手順は、部品のモデルが搭載された基準基板１Ｓのカラー画像を入力することにより開始される。まず最初のＳＴ１（ＳＴはステップの略である。以下も同じ。）では、入力画像から前記部品のモデルを含む領域を指定する操作を受け付けて、その領域を登録対象の領域として設定する。つぎに、ユーザーにより登録操作が行われると、ＳＴ２が「ＹＥＳ」となってＳＴ３に進み、前記登録対象領域内のカラー画像をモノクロ画像に変換する処理を実行する。

ついでＳＴ４では、前記ティーチングテーブル１９に共通データとして登録されている基準しきい値ｔｈを読み出す。この基準しきい値ｔｈは、前記登録対象領域からエッジ画素を抽出するためのもので、所定量のエッジ強度に対応する値、または％単位の数値が設定されている。

つぎのＳＴ５では、前記登録対象領域内の各画素につき、前記濃度変化量Δｘ、Δｙを抽出した後、エッジ強度Ｐを算出する。なお、エッジ強度Ｐの算出には、下記の（１）式が用いられる。

つぎに、ＳＴ６では、前記エッジ強度Ｐについて、前記登録対象領域における最大値Ｐ_ｍａｘおよび最小値Ｐ_ｍｉｎを算出する。さらに続くＳＴ７では、前記基準しきい値ｔｈに％の単位が設定されているかどうかをチェックする。この判定が「ＹＥＳ」であれば、ＳＴ８に進み、前記エッジ強度の最大値Ｐ_ｍａｘおよび最小値Ｐ_ｍｉｎや基準しきい値ｔｈを用いて下記（２）式による演算を実行し、エッジ画素抽出用のしきい値Ｔを算出する。一方、基準しきい値ｔｈに％の単位が設定されていない場合には、ＳＴ７が「ＮＯ」となってＳＴ９に進み、前記しきい値Ｔにｔｈの値をそのまま代入する。
Ｔ＝Ｐ_ｍｉｎ＋（Ｐ_ｍａｘ−Ｐ_ｍｉｎ）×ｔｈ・・・（２）

以下では、登録対象領域内の画素に順に着目して、着目画素毎にＳＴ１０〜２２のループを繰り返すことにより、各画素の色彩データ（Ｒ，Ｇ，Ｂ）を決定する。なお、Ｒは赤の階調に、Ｇは緑の階調に、Ｂは青の階調にそれぞれ相当する。

前記ＳＴ１０〜２２のループの始まりのステップであるＳＴ１０では、着目画素のエッジ強度Ｐを前記しきい値Ｔと比較する。ここでエッジ強度Ｐがしきい値Ｔより小さい場合には、ＳＴ２１に進み、色彩データ（Ｒ，Ｇ，Ｂ）の各階調を０にする。これにより着目画素には背景色である黒色が設定される。

一方、着目画素のエッジ強度Ｐがしきい値Ｔ以上であれば、ＳＴ１０が「ＹＥＳ」となってＳＴ１１に進み、着目画素のエッジコードＥＣを算出する。さらに、つぎのＳＴ１２では、つぎの（３）式により前記エッジ強度Ｐを階調変換し、変換後の階調をＳとしてメモリ１３に一時保存する。なお（３）式中のＡは、各色彩を視認可能な強度で表示するためのオフセット値であり、たとえばＡ＝１２７に設定される。

ＳＴ１３以下では、前記エッジコードＥＣが前記図３の４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４のいずれに属するかを判別し、その判別結果に基づいて色彩データ（Ｒ，Ｇ，Ｂ）を決定する。すなわち、エッジコードＥＣが４５度より小さいか、３１５度以上である場合（ＳＴ１３が「ＮＯ」またはＳＴ１６「ＹＥＳ」の場合）には、ＳＴ１７に進み、前記色彩データ（Ｒ、Ｇ，Ｂ）を（Ｓ，０，０）と設定する。これにより、着目画素は赤色に設定される。

着目画素のエッジコードＥＣが４５度以上、１３５度未満である場合（ＳＴ１３が「ＹＥＳ」、ＳＴ１４が「ＮＯ」の場合）には、ＳＴ１８に進み、前記色彩データ（Ｒ，Ｇ，Ｂ）を（０，Ｓ，０）と設定する。これにより、着目画素は緑色に設定される。

着目画素のエッジコードＥＣが１３５度以上、２２５度未満である場合（ＳＴ１４が「ＹＥＳ」、ＳＴ１５が「ＮＯ」の場合）には、ＳＴ１９に進み、前記色彩データ（Ｒ，Ｇ，Ｂ）を（０，０，Ｓ）と設定する。これにより、着目画素は青色に設定される。

着目画素のエッジコードＥＣが２２５度以上、３１５度未満である場合（ＳＴ１５が「ＹＥＳ」、ＳＴ１６が「ＮＯ」の場合）には、ＳＴ２０に進み、前記色彩データ（Ｒ，Ｇ，Ｂ）を（Ｓ，Ｓ，Ｓ）と設定する。これにより、着目画素は白色に設定される。

このように、登録対象領域内の画素の中からエッジ画素を抽出し、各エッジ画素に、そのエッジコードが所属する領域の色彩とエッジ強度Ｐの大きさに応じた階調Ｓとを設定する。登録対象領域内のすべての画素について処理が終了すると、ＳＴ２２が「ＹＥＳ」となり、以下、前記部品のモデルにかかる各種検査データをティーチングテーブル１９に登録する処理を実行する。

ＳＴ２３では、ＳＴ８またはＳＴ９で設定されたしきい値Ｔを登録する。つぎにＳＴ２４では、この登録処理のために入力したカラー画像から前記登録対象領域内の画像を切り出し、これをモデル画像として登録する。さらに、ＳＴ２５では、前記しきい値Ｔによりエッジ画素と判別された画素のエッジコードの算出結果を用いてエッジコード画像を作成し、これをマッチングモデルとして登録する。なお、このマッチングモデルの画像では、エッジ画素以外の画素は、データ値のないブランクとして設定される。

最後にＳＴ２６では、前記登録対象領域内の各画素について設定された色彩データ（Ｒ，Ｇ，Ｂ）によるカラー画像が前記表示用モデルとして登録される。

このようにして、１つの部品について、エッジ抽出のためのしきい値Ｔ、モデル画像、マッチングモデル、表示用モデルが登録されることになる。以下では、このしきい値Ｔおよび３種類の画像データを組み合わせたものを、「モデルデータ」という。

なお、この実施例の基板検査装置では、１つの部品について、上記のモデルデータを５つまで登録できるようにしている。これは、性能は同じであるが、メーカー等の違いによって外観が異なる部品が存在することによる。性能が同じであれば、どの部品を使用してもかまわないので、これらの部品のうちの代表的な部品に、各部品のモデルデータを対応づけできるようにしたのである。

さらに、この実施例の基板検査装置では、登録されたモデルデータが適切であるかどうかを確認する処理を実行するようにしている。図７は、この確認処理の流れを示す。なお、この処理は、ＳＴ１０１から開始されるものとする。

この確認処理が実行される時点の基板検査装置には、ＣＡＤデータなどに基づき、処理対象の基板検査に実装される部品の情報（部品の種類、実装位置、実装方向など）が登録されている。処理に先立ち、確認対象の部品が搭載された基準基板１Ｓの基板名が入力されると、その基盤上の部品の部品名などが読み出され、表示部２２に一覧表示される。
なお、この確認処理に使用される基準基板１Ｓは、モデル登録処理で使用されたのと同じ基板でも良いが、異なる種類の基板とするのが望ましい。また、複数種の基準基板１Ｓを用いて確認処理を繰り返すのが望ましい。

図７のＳＴ１０１では、前記基準基板１Ｔを搬入し、カメラにより撮像する。つぎにＳＴ１０２で、前記一覧表示中の部品名を選択するなど、確認対象の部品を指定する操作が行われると、ＳＴ１０３に進み、指定された部品の登録情報から実装方向を読み出す。さらに、つぎのＳＴ１０４では、前記ティーチングテーブル１９から指定された部品に対応するモデルデータを読み出し、メモリ１３にセットする。なお、指定された部品に対し、複数のモデルデータが登録されている場合には、ＳＴ１０４では、すべてのモデルデータを読み出すことになる。

つぎのＳＴ１０５では、前記ＳＴ１０４で読み出されたモデルデータのうちの表示用モデルについて、前記エッジコードを表す色彩を、指定された部品の実装方向に応じて補正する処理を実行する。

この実施例のモデルデータは、いずれも基準の方向に位置決めされた部品モデルの画像を用いて作成される。前記ＳＴ１０３で読み出される部品の実装方向は、前記基準の方向を向いている場合の部品に対する回転角度として示される。部品が回転して輪郭線の向きが変わると、エッジコードも変化するから、そのエッジコードに対応する色彩も変化する可能性がある。ＳＴ１０５では、この点を考慮して、表示用モデルのエッジコードが実際の部品と同様になるように補正するのである。具体的には、マッチングモデル中の各エッジコードＥＣにつき、現在値に回転角度θを加えた値を３６０度で割った余り［Ｍｏｄ（（ＥＣ＋θ），３６０）］を補正値ＥＣ´として求め、この補正値ＥＣ´に対応する色彩を割り当てたものを補正後の表示用モデルとする。

つぎに、ＳＴ１０６では、前記ＳＴ１０１で得た処理対象画像をモノクロ変換した上で、その変換後の画像に前記図６のＳＴ１０〜２２と同様の処理を実行することにより、エッジコード画像およびコード表示画像を作成する。さらに、つぎのＳＴ１０７では、前記処理対象画像（カラー画像）と前記ＳＴ１０５の補正を行う前の表示用モデルとを表示部２２に並列表示する。

この表示に対し、いずれかのモデルを選択する操作が行われると、ＳＴ１０８からＳＴ１０９に進み、作成したエッジコード画像に対し、前記選択に対応するマッチングモデルを用いたエッジコードマッチングを実行する。この結果、エッジコード画像上でマッチングモデルへの類似度が最も高かった画像領域が部品に相当する領域として抽出される。

ＳＴ１１０では、前記表示部２２の表示画面を更新し、前記ＳＴ１０６で作成されたコード表示画像上にＳＴ１０９で抽出された画像領域を着色表示した画像と、前記ＳＴ１０５で補正した表示用モデルとを並列表示する。ユーザーは、２つの表示を見比べることにより、抽出された画像領域内の各種輪郭線が表示用モデルと同様のパターンに着色されているかどうかを確認し、モデルの適否を判断する。ここで、モデルが適切でないと判断すると、ユーザーは削除操作を行うことができる。この削除操作がなされると、ＳＴ１１１が「ＹＥＳ」となってＳＴ１１２に進み、前記選択されたモデルデータを削除する処理が行われる。

この後、別のモデルを選択する操作が行われると、ＳＴ１１３が「ＹＥＳ」となってＳＴ１０９に戻り、新たに選択されたモデルを用いて上記と同様の処理が行われる。一方、モデルを選択せずに終了操作が行われると、ＳＴ１１４が「ＹＥＳ」となり、確認処理を終了する。

図８は、上記の登録モデルの確認処理において、表示部２２に提示される表示画面の一例を示す。図８（１）は、前記ＳＴ１０８の選択操作が行われる前の表示画面であり、処理対象のカラー画像を表示するウィンドウ４０の隣に、各モデルのモデル画像と表示用モデルとが対応づけられて表示されている。なお、図中の４１は、モデル選択用のカーソルを示す。

図８（２）は、モデル選択後の表示画面を示す。この画面では、選択されたモデル１の表示領域が枠画像４２により識別表示される。また前記ウィンドウ４０内の表示がコード表示画像に変化するとともに、エッジコードマッチングにより抽出された画像領域４３に着色表示が施される。なお、この着色表示は、実際に抽出された領域よりも若干大きめに設定され、各輪郭線の色彩を透過可能な色彩で着色される。

なお、上記の実施例では、部品の実装方向に合わせて表示用モデル側の色彩を変更するようにしたが、これに限らず、前記ウィンドウ４０内のコード表示画像の色彩を表示用モデルに合わせて補正するようにしてもよい。

図８の例では、説明を簡単にするために、ウィンドウ４０内に確認対象の部品のみを表示しているが、実際の処理におけるいカメラの撮像領域には、通常、複数の部品が含まれる。このため、従来のエッジ画像上に部品の抽出結果を表示する方法では、確認対象の部品の近傍に形状の似通った部品があったり、部品の一部に類似するようなノイズがある場合に、部品が正しく抽出されたかどうかを判断するのが困難になる。

これに対し、この実施例では、部品として抽出された領域４３内の色彩パターンと選択したモデルにおける色彩パターンとを見比べて、エッジコードマッチングにより部品が正しく抽出されたかどうかを確認することができ、確認作業にかかる精度や効率を大幅に向上することができる。

なお、上記の確認処理では、モノクロ画像から作成したエッジコード画像やコード表示画像を使用しているが、エッジコードマッチングの精度が悪い場合などには、Ｒ，Ｇ，Ｂのいずれかの階調による濃淡画像や、明度補正を施した濃淡画像などによりエッジコード画像やコード表示画像を作成し直し、再度、エッジコードマッチングを行うことも可能である。

この発明が適用された基板検査装置のブロック図である。エッジコードの概念を示す説明図である。エッジコードのとり得る角度範囲を領域分割して色彩を割り当てた例を示す説明図である。部品の濃淡画像とこの画像から生成されたコード表示画像とを対比させて示す説明図である。モデル登録処理の手順を示すフローチャートである。図５の続きのフローチャートである。登録モデルの確認処理の手順を示すフローチャートである。図７の確認処理における表示例を示す説明図である。

符号の説明

１Ｔ基準基板
３撮像部
１２画像入力部
１１制御部
１５画像処理部
１９ティーチングテーブル
２２ＣＲＴ表示部

Claims

基板に実装されたモデルの部品の濃淡画像から濃度変化の方向を示す角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を部品抽出用のモデルパターンとして登録する方法において、
あらかじめ前記角度データの取り得る角度範囲を所定数の領域に分割して、各領域にそれぞれ個別の色彩を割り当てておき、
前記モデルパターンに対応する部品が実装された基板を撮像して得た濃淡画像から前記角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を生成する第１ステップと、
前記第１ステップで生成されたパターン画像を前記モデルパターンにより照合して、前記パターン画像上でモデルパターンに対応する画像領域の位置および範囲を抽出する第２ステップと、
前記第１ステップで生成されたパターン画像中の角度データをそれぞれその角度データに対応する領域の色彩に置き換えたカラー画像を作成する第３ステップと、
前記第２ステップで抽出された画像領域の位置および範囲を前記カラー画像上に合成した画像を作成して表示する第４ステップとを、実行することを特徴とする部品検査用のモデル登録方法。
部品実装基板の検査のための検査データを作成する装置であって、
検査データの作成に必要な濃淡画像を入力する画像入力手段と、
前記画像入力手段が入力した画像から濃度変化の方向を示す角度データを抽出し、抽出された角度データをその抽出位置の画素に対応づけたパターン画像を作成するパターン画像作成手段と、
前記角度データの取り得る角度範囲から分割された所定数の領域毎に個別の色彩を対応づけて記憶する色彩記憶手段と、
前記画像入力手段からモデルの部品の濃淡画像が入力されたとき、この濃淡画像から作成されたパターン画像を部品抽出用のモデルパターンとして登録する登録手段と、
前記画像入力手段から前記モデルパターンに対応する部品が実装された基板の濃淡画像が入力されたとき、この濃淡画像から作成されたパターン画像を前記登録手段に登録されたモデルパターンにより照合して、前記パターン画像上でモデルパターンに対応する画像領域の位置および範囲を抽出する対応領域抽出手段と、
前記色彩記憶手段に記憶された領域と色彩との対応関係に基づき、前記基板の濃淡画像から作成されたパターン画像中の角度データをそれぞれその角度に対応する領域の色彩に置き換えたカラー画像を作成するカラー画像作成手段と、
前記対応領域抽出手段により抽出された画像領域の位置および範囲を前記カラー画像上に合成した画像を作成し、この合成画像を表示のために出力する表示制御手段とを具備する検査データ作成装置。
前記登録手段には、前記モデルパターンとともに、このモデルパターン中の角度データをそれぞれその角度に対応する領域の色彩に置き換えたモデルカラー画像が登録されており、
前記表示制御手段は、前記登録手段からモデルカラー画像を読み出す手段と、読み出されたモデルカラー画像の色彩を前記基板上の部品に対する回転角度に基づき補正する手段とを有し、色彩補正後のモデルカラー画像を前記合成画像とともに出力する請求項２に記載された検査データ作成装置。