JP2000011173A - 画像認識方法および画像認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 被測定物の位置の確定が容易に行えると共
に、隣接する被測定物が測定に影響することがなく、登
録された被測定物の位置と測定された被測定物の特徴値
との整合が正確に得られる画像認識方法および画像認識
装置を提供する。 【解決手段】 ２値化画像Ｉm２中の画素の連結領域に
ラベルを割り付けてラベル画像Ｉm３を作成する。上記
ラベル画像からバンプパターン１３Aの特徴値を抽出し
て、抽出された特徴値をラベルと対応づけて測定データ
配列に登録する。また、予めバンプ１３が位置すべき場
所におけるバンプ１３の重心の座標を含む領域２１を登
録データ配列に登録する。そして、上記登録データ配列
に登録されたバンプ１３の重心の座標を含む領域２１が
重なる連結領域に割り付けられたラベルをラベル画像Ｉ
m４から抽出して、その抽出されたラベルに対応する特
徴値を測定データ配列から検索して確定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、生産設備におけ
る画像認識方法および画像認識装置に関する。

【０００２】

【従来の技術】従来、画像認識装置としては、特開平４
‐１１３２５９号公報に記載のものがある。この画像認
識装置は、鏡面状の３次元形状の突出物の検査手法を用
いている。図１１は上記画像認識装置の動作を示すフロ
ーチャートおよび各ステップにおける濃淡画像Ｉm６〜
２値画像Ｉm８を示しており、図１１に従って上記画像
認識装置の動作を以下に説明する。

【０００３】まず、ステップＳ１１では、鏡面状の３次
元形状のバンプ１３を有する半導体からなるチップ１１
を、駆動部を有するステージ２に載置する。

【０００４】次に、ステップＳ１２では、載置されたチ
ップ１１の左右のコーナー１６,１６をチップ１１に対
して光軸が垂直になるように設置されたＣＣＤカメラ
(図示せず)で撮像し、画像メモリ(図示せず)に取得した
後に、画像処理により左右のコーナー１６,１６の座標
を抽出する。そして、上記コーナー１６,１６と予め登
録された基準となる左右のコーナー１７,１７との位置
関係から、載置されたチップ１１が登録位置に移動する
ための移動量１８を算出する。この移動量１８に応じ
て、ステージ２を駆動させてチップ１１の姿勢補正を行
う。

【０００５】次に、ステップＳ１３では、暗視野照明法
によりチップ１１の表面を照明し、上記ＣＣＤカメラに
より撮像された濃淡画像Ｉm６を画像メモリに取得す
る。

【０００６】次に、ステップＳ１４では、濃淡画像Ｉm
６を任意のしきい値で２値化して２値画像Ｉm７を作成
する。

【０００７】次に、ステップＳ１５では、２値画像Ｉm
７の画像内に、バンプ１３が存在する領域全体を囲む第
１ウインドウ２６を設定し、その第１ウインドウ２６内
で得られた画像情報から、各バンプ１３を囲む第２ウイ
ンドウ２７を設定する。

【０００８】次に、ステップＳ１６では、第１ウインド
ウ２６からバンプ１３の位置,大きさおよび隣接との間
隔を測定し、第２ウインドウ２７から各バンプ１３の寸
法,形状および輝度を測定する。

【０００９】そして、ステップＳ１７において、ステッ
プＳ１６で測定された各値と基準値とを比較して、ある
偏差が認められた場合には対象のバンプ１３が欠陥であ
ると判定する。

【００１０】なお、上記第１,第２ウインドウ２６,２７
は、画像情報での輝度の連結性を処理することにより得
られる。例えば、第１ウインドウ２６の確定では、図１
２の２値画像Ｉm９に示すように、バンプ１３の重心位
置２９と第１ウインドウ位置３０の関係を予め保持して
おき、実行時の２値画像Ｉm８に示す各バンプ１３の重
心位置２９を得て、登録している位置関係から第１ウイ
ンドウ２６の位置を確定する。

【００１１】また、他の画像認識装置として、特開平５
‐１１１５０３号公報に記載のものがある。この画像認
識装置は、チップ上におけるパッド電極のバンプ表面を
全周から照明し、位置決めによって姿勢補正されたチッ
プの上部からＣＣＤカメラで撮像して、画像メモリに保
持する。そして、得られた画像内の各バンプに、ＣＡＤ
(計算機援用設計)データおよび生成物(バンプ)の位置情
報から予め登録したウインドウを設け、各バンプ表面の
特徴値を抽出する。この特徴値に所定の統計処理を施し
て許容範囲を有するような評価値を求め、各特徴値と比
較し、許容範囲外にある特徴値に係るバンプを欠陥バン
プとして判定する。

【００１２】上記特開平５‐１１１５０３号公報には記
述されていないが、一般的な画像処理による特徴値の測
定方法について、図１４のフローチャートに従って以下
に説明する。

【００１３】図１４において、ステップＳ２１〜Ｓ２３
は、図１１のステップＳ１１〜Ｓ１３と同様の動作をす
る。

【００１４】次に、ステップＳ２４では、ＣＣＤカメラ
により撮像し、画像メモリに得られた２値画像Ｉm１０
を任意のしきい値で２値化し、チップパターン１１A,バ
ンプパターン１３Aを有する２値画像Ｉm１１を得る。例
えば、２５６階調の濃淡画像において、しきい値を１２
８階調とし、下位を０階調、上位を１階調とする。

【００１５】次に、ステップＳ２５では、この２値画像
Ｉm１１に予め登録しておいたウインドウ２８を設け、
チップ１１A上のバンプパターン１３Aの部分を画像から
切り出す。

【００１６】次に、ステップＳ２６では、ステップ２５
で切り出したバンプパターン１３Aにラベル(番号)を割
り付けるラベリング処理を行い、ラベル画像Ｉm１３を
作成する。

【００１７】このステップＳ２６におけるラベリング処
理について説明する(参考著書 田村秀行監修；コンピ
ュータ画像処理入門，総研出版)。２値化された画像に
おいて、バックグラウンド(背景パターン)にはラベルと
して番号０を付けるが、被測定物の階調(例えば１階調)
の輝度に対しては、任意のラベルを割り付ける。このラ
ベルの割り付け方法は、まず連結している近傍の画素の
割り付けラベルを確認し、連結している近傍の画素の割
り付けラベルがあれば同一のラベルが付き、連結してい
る近傍の画素の割り付けラベルがなければ新規のラベル
がつく。この作業を、ラスタスキャン１９の走査順に１
画素毎に行っていくのがラベリング処理である。その結
果、同一ラベルの集まり(連結領域)がバンプパターン１
３Aとなり、ラベルＬＢ別にバンプパターン１３Aが分け
られたラベル画像Ｉm１３が得られる。図１６に上記ラ
ベリング処理の例を示している。図１６の拡大図におい
て、ラスタスキャン１９の走査順にラベルＬＢが割り付
けられている。このラベル画像Ｉm１３に対して、処理
を行うのが一般的である。

【００１８】次に、図１４に示すステップＳ２７では、
例えば特徴値として面積を得たい場合、上記ラベル画像
Ｉm１３で同一ラベルＬＢの画素をカウントする。これ
で得た画素数と予め測定しておいた１画素の面積(ｘ×
ｙ：ｘ,ｙは１画素のＸ方向,Ｙ方向の夫々の長さ)とを
乗算して、被測定物の面積を得る。

【００１９】そして、ステップＳ２８では、ステップＳ
２７で得られた特徴値について予め設定された許容範囲
で判定を行う。

【００２０】

【発明が解決しようとする課題】ところで、図１１に示
す画像認識方法を用いた画像認識装置では、実行時のバ
ンプ１３の位置情報から第１,第２ウインドウ２６,２７
を確定するときに、図１３(A)に示すように、バンプパ
ターン１３Aの背景パターンが不要な輝度として位置関
係を狂わせると共に、図１３(B),(C)に示すように、バ
ンプの形状のバラツキや不良(バンプなし)を有する場合
に、バンプパターン１３Aの位置情報に誤差が発生し、
第１,第２ウインドウ２６,２７の位置精度に影響する。

【００２１】また、図１４に示す画像認識方法を用いた
画像認識装置では、背景パターンおよびバンプ１３の状
態変化の影響を受けずに、目的の被測定物の情報を得る
には、図１４に示されるように、予めウインドウ２８を
登録しておく手法が誤認識がなく効果的である。しか
し、ウインドウ２８が予め決定されているので位置決め
をする必要があり、この位置決め精度が悪いと、図１５
(A)に示すように、２値化画像Ｉm１２のウインドウ２８
からバンプ１３が外れて誤認識となる。また、図１５
(B)に示すように、２値化画像Ｉm１２のウインドウ２８
を大きくすることで、要求される位置決め精度を緩和で
きるが、隣接するバンプとの間隔が狭いと、図１５(C)
に示すように、ウインドウ２８内に隣りのバンプ１３を
取り込んでしまうという問題がある。

【００２２】また、上記画像認識装置では、処理した箇
所をオペレータに正確に伝え、異常箇所の正確な分布を
示すには、登録位置と測定で得られた特徴値との正確な
整合をとる必要がある。しかしながら、このような登録
されたウインドウ２８を使った処理の場合、図１４に示
す画像処理により測定された特徴値は、ラベル(番号)順
に測定データ配列に保持されるとき、この順番に再現性
がない。すなわち、２値画像の状態は、パターンの映り
込みによるノイズおよび被測定物の傾きにより変化する
が、ラベルＬＢの割り付けはラスタスキャン１９の走査
順の決まった方向に行われるため、図１７に示すよう
に、ラスタスキャン１９の走査線上に、突出した部分が
できると、先に突出部を含む連結領域にラベルＬＢが割
り付けられてしまい、ラベルの順番に再現性がなくなる
のである。そのため、図１８に示すように、測定データ
配列２２の順番に再現性があるものとして、登録データ
配列２５と対比させて取り扱うと、整合が取れない場合
が生じるという問題がある。

【００２３】そこで、この発明の目的は、被測定物の位
置の確定が容易に行えると共に、隣接する被測定物が測
定に影響することがなく、登録された被測定物の位置と
測定された被測定物の特徴値との整合が正確に得られる
画像認識方法および画像認識装置を提供することにあ
る。

【００２４】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の画像認識方法は、被測定物を有する被写
体の濃淡画像を撮像するステップと、上記撮像された濃
淡画像に基づいて上記被写体の２値化画像を作成するス
テップと、上記２値化画像中の画素の連結領域にラベル
を割り付けてラベル画像を作成するステップと、上記ラ
ベル画像から上記ラベルが割り付けられた上記被測定物
の特徴値を抽出するステップと、上記抽出された特徴値
を上記ラベルと対応づけて第１テーブルに登録するステ
ップと、予め上記被測定物が位置すべき場所における上
記被測定物の重心の座標を第２テーブルに登録するステ
ップと、上記第２テーブルに登録された上記被測定物の
重心の座標を含む所定の領域の少なくとも一部が重なる
上記連結領域に割り付けられたラベルを上記ラベル画像
から抽出するステップと、上記ラベル画像から抽出され
たラベルに対応する特徴値を上記第１テーブルから検索
して確定するステップとを有することを特徴としてい
る。

【００２５】上記請求項１の画像認識によれば、被測定
物を有する被写体(例えばバンプを有する半導体チップ)
の濃淡画像を撮像し、その撮像された濃淡画像に基づい
て上記被写体の２値化画像を作成する。次に、上記２値
化画像中の背景パターンを除く画素の連結領域(被測定
物等のパターンを含む)にラベルを割り付けてラベル画
像を作成し、そのラベル画像からラベルが割り付けられ
た上記被測定物の特徴値を抽出して、抽出された特徴値
を上記ラベルと対応づけて第１テーブルに登録する。ま
た、予め被測定物の重心の座標を第２テーブルに登録し
て、その第２テーブルに登録された上記被測定物の重心
の座標を含む所定の領域の少なくとも一部が重なる上記
連結領域のラベルを上記ラベル画像から抽出して、その
抽出されたラベルに対応する第１テーブルの特徴値を検
索して確定する。このように、上記第２テーブルに登録
された被測定物の重心の座標から被測定物の情報である
特徴値を得ることによって、画像情報から被測定物の位
置を決定せず、背景パターンの映り込みによる影響を受
けないので、安定した被測定物の位置の確定を容易に行
うことができる。また、上記ラベル画像からのラベルの
抽出を上記被測定物の重心の座標が示すポイントで行う
ことによって、被測定物に位置ズレがあった場合でも、
被測定物上にラベルの抽出のための上記重心の座標が示
すポイントがあればよいため、被測定物の位置ズレに対
して許容範囲を持たせることができる。さらに、抽出す
るための重心の座標が示すポイントが被測定物上にある
なら、互いに隣接する各被測定物の間隔が狭くても、隣
接する被測定物が測定に悪影響することはない。また、
上記第２テーブルに登録された重心の座標で示される被
測定物の位置の順番に、上記ラベル画像から被測定物に
割り付けられたラベルを抽出し、抽出されたラベルに対
応する特徴値を第１テーブルから検索することで、上記
第２テーブルに基づく被測定物の位置と上記第１テーブ
ルに登録された被測定物の特徴値との整合が正確に得ら
れる。

【００２６】また、請求項２の画像認識装置は、被測定
物を有する被写体の濃淡画像を撮像する撮像部と、上記
撮像部により撮像された濃淡画像に基づいて上記被写体
の２値化画像を作成する２値化画像作成部と、上記２値
化画像中の画素の連結領域にラベルを割り付けてラベル
画像を作成するラベル画像作成部と、上記ラベル画像か
ら上記ラベルが割り付けられた上記被測定物の特徴値を
抽出する特徴値抽出部と、上記特徴値抽出部により抽出
された特徴値を上記ラベルと対応づけて第１テーブルに
登録する第１テーブル登録部と予め上記被測定物が位置
すべき場所における上記被測定物の重心の座標を第２テ
ーブルに登録する第２テーブル登録部と、上記第２テー
ブルに登録された上記被測定物の重心の座標を含む所定
の領域の少なくとも一部が重なる上記連結領域に割り付
けられたラベルを上記ラベル画像から抽出するラベル抽
出部と、上記ラベル画像から抽出されたラベルに対応す
る特徴値を上記第１テーブルから検索して確定する特徴
値確定部とを備えたことを特徴としている。

【００２７】上記請求項２の画像認識装置によれば、被
測定物を有する被写体(例えばバンプを有する半導体チ
ップ)の濃淡画像を上記撮像部により撮像し、その撮像
された濃淡画像に基づいて上記被写体の２値化画像を２
値化画像作成部により作成する。次に、上記２値化画像
中の背景パターンを除く画素の連結領域(被測定物等の
パターンを含む)にラベルを割り付けてラベル画像をラ
ベル画像作成部により作成し、そのラベル画像からラベ
ルが割り付けられた上記被測定物の特徴値を上記特徴値
抽出部により抽出して、抽出された特徴値を上記第１テ
ーブル登録部により上記ラベルと対応づけて第１テーブ
ルに登録する。また、上記第２テーブル登録部により予
め被測定物の重心の座標を第２テーブルに登録して、上
記ラベル抽出部によりその第２テーブルに登録された上
記被測定物の重心の座標を含む所定の領域の少なくとも
一部が重なる上記連結領域のラベルを上記ラベル画像か
ら抽出して、上記特徴値確定部によりその抽出されたラ
ベルに対応する第１テーブルの特徴値を検索して確定す
る。このように、上記第２テーブルに登録された被測定
物の重心の座標から被測定物の情報である特徴値を得る
ことによって、画像情報から被測定物の位置を決定せ
ず、背景パターンの映り込みによる影響を受けないの
で、安定した被測定物の位置の確定を容易に行うことが
できる。また、上記ラベル抽出部のラベル画像からのラ
ベルの抽出を上記被測定物の重心の座標が示すポイント
で行うことによって、被測定物に位置ズレがあった場合
でも、被測定物上にラベルの抽出のための上記重心の座
標が示すポイントがあればよいため、被測定物の位置ズ
レに対して許容範囲を持たせることができる。さらに、
抽出するための重心の座標が示すポイントが被測定物上
にあるなら、互いに隣接する各被測定物の間隔が狭くて
も、隣接する被測定物が測定に悪影響することはない。
また、上記第２テーブルに登録された重心の座標で示さ
れる被測定物の位置の順番に、ラベル抽出部によりラベ
ル画像から被測定物に割り付けられたラベルを抽出し、
抽出されたラベルに対応する特徴値を上記特徴値確定部
により第１テーブルから検索することで、上記第２テー
ブルに基づく被測定物の位置と上記第１テーブルに登録
された被測定物の特徴値との整合が正確に得られる。

【００２８】また、請求項３の画像認識装置は、請求項
２の画像認識装置において、上記第２テーブルに登録さ
れる上記被測定物の重心の座標を含む所定の領域は、上
記２値化画像の１画素であることを特徴としている。

【００２９】上記請求項３の画像認識装置によれば、上
記２値化画像の１画素で上記ラベル画像からのラベルの
抽出を行うことによって、被測定物の位置ズレに対して
広い許容範囲を持たせることができる。

【００３０】また、請求項４の画像認識装置は、請求項
２の画像認識装置において、上記第２テーブルに登録さ
れる上記被測定物の重心の座標を含む所定の領域は、上
記被測定物より小さい形状の領域であることを特徴とし
ている。

【００３１】上記請求項４の画像認識装置によれば、上
記上記被測定物より小さい形状の領域で上記ラベル画像
からのラベルの抽出を行うことによって、被測定物の位
置ズレに対して広い許容範囲を持たせると共に、抽出範
囲を拡大して被測定物の位置の確定をより確実に行うこ
とができる。

【００３２】

【発明の実施の形態】以下、この発明の画像認識装置を
図示の実施の形態により詳細に説明する。

【００３３】図１はこの発明の実施の一形態の画像認識
装置の概略構成を示している。この画像認識装置は、検
査対象１が載置されるステージ２と、上記ステージ２を
制御する機構制御部３と、上記検査対象１を照明する環
状照明部４と、上記環状照明部４に光を供給する光源５
とを備えている。また、上記画像認識装置は、ステージ
２の上方に設置された撮像部としてのＣＣＤ(チャージ
・カップルド・デバイス；電荷結合素子)カメラ８と、
上記ＣＣＤカメラ８により撮像された濃淡画像を処理す
る画像処理部９と、上記機構制御部３,画像処理部９を
制御する制御装置１０とを備えている。上記光源５から
の光は、光ファイバ６を介して環状照明部４に達する。
また、上記機構制御部３は、制御装置１０からの制御信
号に基づいて、ステージ２を水平面に沿ってＸ,Ｙ方向
に移動させると共に、ステージ２を水平面に沿ってθ方
向に回転させる。上記ＣＣＤカメラ８は、その光軸７が
ステージ２に垂直になるようにステージ２の上方に支持
されており、ステージ２上に載置された検査対象１の表
面を撮像する。

【００３４】また、上記画像処理部９は、ＣＣＤカメラ
８により撮像された濃淡画像を格納する画像メモリ９a
と、上記濃淡画像に基づいて２値化画像を作成する２値
化画像作成部９bと、上記２値化画像からラベル画像を
作成するラベル画像作成部９cと、上記ラベル画像から
被測定物の特徴値を抽出する特徴値抽出部９dと、上記
被測定物のラベルと特徴値とを対応づけて登録する第１
テーブル登録部９eと、予め上記被測定物が位置すべき
場所における被測定物の重心の座標を登録する第２テー
ブル登録部９fと、上記ラベル画像からラベルを抽出す
るラベル抽出部９gと、上記ラベル画像から抽出された
ラベルに対応する特徴値を確定する特徴値確定部９hと
を有している。上記画像処理部９は、ＣＣＤカメラ８に
よって得られた画像に対して画像処理を施して、検査対
象１の表面画像から必要とする画像情報(特徴値,座標)
を抽出する。

【００３５】また、上記制御装置１０は、ＣＰＵ(セン
トラル・プロセッシング・ユニット；中央処理装置)と
入出力回路等からなり、画像処理部９が抽出した画像情
報に基づいて、検査対象１の位置決め,良否判定を行
う。

【００３６】図２(A),(B)に検査対象１の具体例を示し
ている。図２(A)は、印刷回路板等の回路基板の表面に
半導体からなるチップ１１を接合するため、チップ１１
の電極部１２に形成された被測定物としてのバンプ１３
を示している。また、図２(B)は、パッケージ１４を印
刷回路板に接合するため、パッケージ１４の電極部１２
に形成された被測定物としてのメタル製のボール１５を
示している。図２(A),(B)のいずれも、チップ１１,パッ
ケージ１４のような被写体の領域から抜き出す必要のあ
る被測定物(例えば、バンプ１３,ボール１５,その他…)
を示しており、このような被測定物をこの画像認識装置
の測定対象としている。

【００３７】図３はこの画像認識装置の動作を示すフロ
ーチャートおよび各ステップにおける濃淡画像Ｉm１〜
ラベル画像Ｉm４を示しており、チップ１１上に形成さ
れたバンプ１３を被測定物として説明している。

【００３８】まず、ステップＳ１において、ステージ２
にチップ１１を載置する。

【００３９】次に、ステップＳ２では、載置されたチッ
プ１１をＣＣＤカメラ８で撮像し、画像処理部９におい
てチップ１１の左右のコーナー１６,１６の座標を抽出
する。そして、上記コーナー１６,１６の座標と予め登
録されたコーナー１７,１７の座標との位置関係から、
載置されたチップ１１が登録位置に移動するための移動
量１８を制御装置１０により算出して、その移動量１８
に基づいて制御装置１０から機構制御部３に制御信号を
出力することによって、ステージ２を駆動させて、チッ
プ１１の姿勢補正を行う。

【００４０】次に、ステップＳ３で、姿勢補正されたチ
ップ１１の表面をＣＣＤカメラ８で撮像する。そして、
上記画像処理部９において、ＣＣＤカメラ８により撮像
された映像信号を、濃淡画像Ｉm１として画像メモリ９a
に保存する。このとき、測定対象であるバンプ１３の画
像は、環状照明部４によってチップ１１の背景パターン
と可能な限り分離して観察できるように調整している。
上記環状照明部４によりバンプ１３の周囲から照明する
ことで、被測定物である突起物の外辺からの反射光が強
調され、フラットなパターンからの反射光は弱くなるの
で、突起物であるバンプ１３を背景パターンと分離して
観察することが可能になる。

【００４１】次に、ステップＳ４において、上記画像処
理部９の２値化画像作成部９bによって、画像メモリ９a
内の２５６階調の濃淡画像Ｉm１を任意のしきい値で分
離した２値画像Ｉm２を作成する。このとき、しきい値
は予め登録されており、しきい値の最適値は、値を可変
しながら被測定物の面積測定を画像処理により順次行
い、被測定物の実面積と略等しくなった時点で決定す
る。上記２値画像Ｉm２には、電極部パターン１２Aおよ
び消去しきれなかったチップパターン１１Aが映り込
み、ノイズとして存在する。このノイズとなるのは、電
極部や金属製の配線等の反射率の高い材質の表面で顕著
に発生する。

【００４２】次に、ステップＳ５において、上記画像処
理部９のラベル画像作成部９cによりラベリング処理を
行ってラベル画像Ｉm３を作成する。このラベリング処
理は、図１４のステップＳ２６のときのラベリング処理
と同様に、２値化画像の背景パターンにラベルＬＢとし
て番号０を付け、ラスタスキャン１９の走査順に１画素
毎に、連結している近傍の画素の割り付けラベルを確認
して、連結している近傍の画素の割り付けラベルがあれ
ば同一のラベルを付ける一方、連結している近傍の画素
の割り付けラベルがなければ新規のラベルを付ける。図
４はラベル画像Ｉm３の割り付けラベル(番号)の状態を
示している。図４に示す拡大図において、ラスタスキャ
ン１９上に突出した電極部パターン１２Aに、内側のバ
ンプパターン１３Aのラベル(番号６)よりも優先的にラ
ベル(番号５)が割り付けられていることがわかる。

【００４３】次に、図３に示すステップＳ６では、ラベ
ル画像Ｉm３を用いて、上記画像処理部９の特徴値抽出
部９dにより特徴値を抽出する。上記ラベル画像Ｉm３の
バンプパターン１３Aの面積を特徴値とした場合、ラス
タスキャン１９の走査順にラベル(番号)毎に同一ラベル
(番号)の連結領域の画素をカウントしていく。その結
果、上記画像処理部９の第１テーブル登録部９eによ
り、ラベルＬＢ順に各連結領域の画素数(面積に相当)を
バンプパターン１３Aの特徴値として測定データ配列２
２(図５に示す)に登録する。そうして、予め測定してお
いた１画素の面積 (ｘ×ｙ：ｘ,ｙは１画素のＸ方向,Ｙ
方向の夫々の長さ)と各特徴値(画素数)とを積算するこ
とによって、ラベルＬＢに対応する面積が夫々得られ
る。

【００４４】次に、ステップＳ７において、上記画像処
理部９のラベル抽出部９gにより測定対象のバンプパタ
ーン１３Aに割り付けられているラベル(番号)をラベル
画像Ｉm３から抽出し、上記画像処理部９の特徴値確定
部９hによりラベル(番号)に対応する特徴値を測定デー
タ配列２２(図５に示す)から検索して確定する。図６は
ラベル(番号)の抽出方法を示しており、上記画像処理部
９の第２テーブル登録部９fにより各バンプが位置すべ
き場所におけるバンプの重心の座標を第２テーブルとし
ての登録データ配列(図９に示す)に予め登録し、重心の
座標を含む領域２１にあるバンプパターン１３Aに割り
付けられたラベル(番号)がラベル画像Ｉm４から抽出さ
れる。なお、上記登録データ配列にバンプの重心の座標
を登録する場合、被写体であるチップの任意の位置を基
準位置として指定し、その基準位置からＣＡＤ(計算機
援用設計)座標に基づいて、チップの各バンプの重心の
座標を登録する。

【００４５】そして、図３に示すステップＳ８におい
て、登録データ配列２５に対応する特徴値の処理を行
う。例えば、バンプパターン１３Aの検査(例えば面積)
の場合、予め設定されたバンプパターン１３Aの許容範
囲に基づいて特徴値を判定する。

【００４６】この画像認識装置では、検査対象１の位置
ズレに対して、ある程度の許容範囲を持たせることがで
きるが、検査対象１の位置ズレ対策を施した場合、図７
に示すように、登録されたバンプの重心の座標を中心に
十字形状の領域２１Aを用いて、領域２１Aの少なくとも
一部が重なるバンプパターン１３Aのラベルを抽出す
る。この場合、被測定物であるバンプの位置ズレに対し
て広い許容範囲を持たせると共に、抽出範囲を拡大して
被測定物の位置の確定をより確実に行うことができる。
なお、被写体を位置決めする精度により、登録位置と測
定対象の位置にずれが生じ、このずれを許容できる大き
さに十字形状の領域２１Aを設定する。ただし、上記領
域２１Aの大きさは、隣接物を認識しないように隣接物
と重心の座標との間隔よりも小さくする。

【００４７】また、図９は登録データ配列２５と測定デ
ータ配列２２との整合をとる手順を示している。上記登
録データ配列２５には、各バンプの重心の座標を登録し
ている。図９に示すように、登録されたラベルの番号２
の重心の座標を含む領域２１(ａ1，ａ2)は、ラベル画像
Ｉm３の図示する位置にある。この位置の直下にあるラ
ベルは番号４で、そのラベルの番号４に対応する特徴値
を測定データ配列２２の斜線部に登録する。

【００４８】また、図１０は被測定物(バンプ)の形状が
複数種類ある場合について、登録データ配列２５A,２５
Bと測定データ配列２２との整合をとる手順を示してい
る。この場合、タイプＡの登録データ配列２５Aおよび
タイプＢの登録データ配列２５Bにそれぞれの重心の座
標(ａ1,ａ2)および(ｂ2,ｂ2)を登録する。この重心の座
標の直下のラベルをラベル画像Ｉm５から抽出する。上
記抽出されたラベルに対応する特徴値を測定データ配列
２２から検索して確定する。なお、図１０のラベル画像
Ｉm５は、図３のフローチャートに示す手順で処理され
た画像とする。

【００４９】したがって、この画像認識装置によれば、
電極部１２や配線パターンのような反射率の高い部分
が、ノイズとして画像内に分布した場合においても、そ
の影響を受けずに目的とするバンプ１３の位置を容易に
確定することができる。

【００５０】また、各バンプ１３の重心の座標を含む領
域２１(１画素の領域)からラベルＬＢを得ることで、図
８(A)に示すようなバンプ１３の位置ズレに対して許容
範囲を持たせることが可能となる。この許容範囲は、重
心の座標を含む領域２１の直下にバンプパターン１３A
のラベルＬＢが位置すればよいことから、バンプパター
ン１３Aの画像上でのＸ方向のサイズＰｘ,Ｙ方向のサイ
ズＰｙである。この発明の位置の確定では、図８(B)の
ように隣接したバンプパターン１３Bが存在しても、影
響されることはない。

【００５１】さらに、上記登録データ配列２５と測定デ
ータ配列２２との整合がとれるので、情報を得たい任意
のバンプ１３の特徴値を正確に特定することができる。
画像内に数種の形状を有する被測定物が存在しても、デ
ータの取り扱いを容易に行うことが可能である。

【００５２】上記実施の形態では、被測定物としてのバ
ンプ１３を有するチップ１１について説明したが、被測
定物はこれに限らず、あらゆる生産設備における被測定
物の画像認識にこの発明を適用することができる。

【００５３】

【発明の効果】以上より明らかなように、請求項１の発
明の画像認識方法は、被測定物を有する被写体の濃淡画
像を撮像し、その撮像された濃淡画像に基づいて被写体
の２値化画像を作成し、その２値化画像中の画素の連結
領域にラベルを割り付けてラベル画像を作成し、そのラ
ベル画像からラベルが割り付けられた上記被測定物の特
徴値を抽出して、抽出された特徴値を上記ラベルと対応
づけて第１テーブルに登録すると共に、予め被測定物の
重心の座標を第２テーブルに登録して、その第２テーブ
ルに登録された被測定物の重心の座標を含む所定の領域
の少なくとも一部が重なる上記連結領域のラベルを上記
ラベル画像から抽出して、その抽出されたラベルに対応
する第１テーブルの特徴値を検索して確定するものであ
る。

【００５４】したがって、請求項１の発明の画像認識方
法によれば、上記第２テーブルに登録された被測定物の
重心の座標から被測定物の情報である特徴値を得ること
によって、背景パターンの映り込みによる影響を受けず
に安定した被測定物の位置の確定を容易に行うことがで
きる。また、上記ラベル画像からのラベルの抽出を上記
被測定物の重心の座標が示すポイントで行うことによっ
て、被測定物に位置ズレがある場合でも、被測定物上に
ラベルの抽出のための上記重心の座標が示すポイントが
あればよいため、被測定物の位置ズレに対して許容範囲
を持たせることができる。さらに、抽出するための重心
の座標が示すポイントが被測定物上にあるなら、互いに
隣接する各被測定物の間隔が狭くても、隣接する被測定
物が測定に悪影響することはない。またさらに、上記第
２テーブルに登録された重心の座標で示される被測定物
の位置の順番に、上記ラベル画像から被測定物に割り付
けられたラベルを抽出し、抽出されたラベルに対応する
特徴値を第１テーブルから検索することによって、上記
第２テーブルに基づく被測定物の位置と上記第１テーブ
ルに登録された被測定物の特徴値との整合を正確にとる
ことができる。

【００５５】また、請求項２の発明の画像認識装置は、
被測定物を有する被写体の濃淡画像を撮像部により撮像
し、その撮像された濃淡画像に基づいて被写体の２値化
画像を２値化画像作成部により作成し、その２値化画像
中の画素の連結領域にラベルを割り付けてラベル画像を
ラベル画像作成部により作成し、そのラベル画像からラ
ベルが割り付けられた上記被測定物の特徴値を特徴値抽
出部により抽出して、抽出された特徴値を第１テーブル
登録部により上記ラベルと対応づけて第１テーブルに登
録すると共に、第２テーブル登録部により予め被測定物
の重心の座標を第２テーブルに登録して、ラベル抽出部
によりその第２テーブルに登録された上記被測定物の重
心の座標を含む所定の領域の少なくとも一部が重なる上
記連結領域のラベルをラベル画像から抽出して、特徴値
確定部によりその抽出されたラベルに対応する第１テー
ブルの特徴値を検索して確定するものである。

【００５６】したがって、請求項２の発明の画像認識装
置によれば、上記第２テーブルに登録された被測定物の
重心の座標から被測定物の情報である特徴値を得ること
によって、背景パターンの映り込みによる影響を受けず
に安定した被測定物の位置の確定を容易に行うことがで
きる。また、上記ラベル抽出部のラベル画像からのラベ
ルの抽出を上記被測定物の重心の座標が示すポイントで
行うことによって、被測定物に位置ズレがあった場合で
も、被測定物上にラベルの抽出のための上記重心の座標
が示すポイントがあればよいため、被測定物の位置ズレ
に対して許容範囲を持たせることができる。さらに、抽
出するための重心の座標が示すポイントが被測定物上に
あるなら、互いに隣接する各被測定物の間隔が狭くて
も、隣接する被測定物が測定に悪影響することはない。
またさらに、上記第２テーブルに登録された重心の座標
で示される被測定物の位置の順番に、ラベル抽出部によ
りラベル画像から被測定物に割り付けられたラベルを抽
出し、抽出されたラベルに対応する特徴値を上記特徴値
確定部により第１テーブルから検索することによって、
上記第２テーブルに基づく被測定物の位置と上記第１テ
ーブルに登録された被測定物の特徴値との整合を正確に
とることができる。

【００５７】また、請求項３の発明の画像認識装置は、
請求項２の画像認識装置において、上記第２テーブルに
登録される上記被測定物の重心の座標を含む所定の領域
は、上記２値化画像の１画素であるので、被測定物の位
置ズレに対して広い許容範囲を持たせることができる。

【００５８】また、請求項４の発明の画像認識装置は、
請求項２の画像認識装置において、上記第２テーブルに
登録される上記被測定物の重心の座標を含む所定の領域
は、上記被測定物より小さい形状の領域であるので、被
測定物の位置ズレに対して広い許容範囲を持たせると共
に、抽出範囲を拡大して被測定物の位置の確定をより確
実に行うことができる。

【図面の簡単な説明】

【図１】 図１はこの発明の実施の一形態の画像認識装
置の概略構成図である。

【図２】 図２(A)は上記画像認識装置の被写体である
チップの上面図および被測定物であるバンプの拡大側面
図であり、図２(B) 上記画像認識装置の被写体であるパ
ッケージの上面図および被測定物であるメタル製のボー
ルの拡大側面図である。

【図３】 図３は上記画像認識装置の動作を示すフロー
チャートである。

【図４】 図４は上記画像認識装置のラベリング処理を
行った画像とその画像の要部を拡大した図である。

【図５】 図５はラベル画像と測定データ配列の関係を
示す図である。

【図６】 図６は登録されたバンプの重心の座標からラ
ベルを抽出する場合の画像とその画像の要部を拡大した
図である。

【図７】 図７は登録されたバンプの重心の座標を中心
に十字形状の領域でラベルを抽出する方法を説明する図
である。

【図８】 図８(A)は位置ズレの許容範囲を示す図であ
り、図８(B)は隣接する被測定物が近接していても、被
測定物の位置確定に影響のないことを示す図である。

【図９】 図９は１種類の被測定物を処理する場合の登
録データ配列と測定データ配列との整合を示す図であ
る。

【図１０】 図１０は２種類の被測定物が同一領域に存
在する画像を処理する場合の登録データ配列と測定デー
タ配列との整合を示す図である。

【図１１】 図１１は従来の鏡面状の３次元形状の突出
物の検査手法を用いた画像認識装置の動作を示すフロー
チャートである。

【図１２】 図１２は上記画像認識装置の第１ウインド
ウを確定する方法を説明する図である。

【図１３】 図１３(A)は上記画像認識装置のウインド
ウ位置確定のときに電極部および配線パターンのような
反射率の高い部分の映り込みにより位置関係が狂う場合
を示す図であり、図１３(B)は形状のバラツキにより位
置関係に誤差が発生する場合を示す図であり、図１３
(C)は不良により位置が消失した場合を示す図である。

【図１４】 図１４は従来のバンプ外観検査方法を用い
た画像認識装置の動作を示すフローチャートである。

【図１５】 図１５(A)は上記画像認識装置のウインド
ウ確定のときに被測定物に位置ズレがあった場合を示す
図であり、図１５(B)は図１５(A)の不具合に対するウイ
ンドウ枠を拡大した場合を示す図であり、図１５(C)は
隣接する被測定物が近接した場合を示す図である。

【図１６】 図１６は上記画像認識装置のラベリング処
理で割り付けられるラベルの状態の画像とその画像の要
部を拡大した図である。

【図１７】 図１７は上記画像認識装置のラベリング処
理で発生する不具合を示す図である。

【図１８】 図１８は上記画像認識装置の登録データ配
列と測定データ配列の整合をとるときの状態を示す図で
ある。

【符号の説明】

１…検査対象、２…ステージ、３…機構制御部、４…環
状照明部、５…光源、６…光ファイバ、７…光軸、８…
ＣＣＤカメラ、９…画像処理部、１０…制御装置、１１
…チップ、１２…電極部、１３…バンプ、１４…パッケ
ージ、１５…ボール、１６,１７…コーナー、１８…移
動量、１９…ラスタスキャン、２１…領域、２２…測定
データ配列、２５…登録データ配列、ＬＢ…ラベル。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ３６０ Ｆターム(参考） 2F065 AA03 AA17 BB25 CC25 CC26 DD11 FF04 GG17 JJ03 JJ26 LL02 MM03 MM04 QQ04 QQ21 QQ31 QQ36 4M106 AA02 BA20 DH12 DJ03 DJ04 DJ06 DJ14 DJ20 DJ21 DJ40 5B057 AA03 AA04 BA02 CA08 CA12 CB06 CB12 CC01 DA07 DB02 DB08 DC04 DC06 DC14 5L096 AA06 BA03 CA09 CA14 DA02 EA43 FA59 FA60 FA76 GA17 GA34 HA08 JA11

Claims (4)

【特許請求の範囲】
1. 【請求項１】 被測定物を有する被写体の濃淡画像を撮
   像するステップと、 上記撮像された濃淡画像に基づいて上記被写体の２値化
   画像を作成するステップと、 上記２値化画像中の画素の連結領域にラベルを割り付け
   てラベル画像を作成するステップと、 上記ラベル画像から上記ラベルが割り付けられた上記被
   測定物の特徴値を抽出するステップと、 上記抽出された特徴値を上記ラベルと対応づけて第１テ
   ーブルに登録するステップと、 予め上記被測定物が位置すべき場所における上記被測定
   物の重心の座標を第２テーブルに登録するステップと、 上記第２テーブルに登録された上記被測定物の重心の座
   標を含む所定の領域の少なくとも一部が重なる上記連結
   領域に割り付けられたラベルを上記ラベル画像から抽出
   するステップと、 上記ラベル画像から抽出されたラベルに対応する特徴値
   を上記第１テーブルから検索して確定するステップとを
   有することを特徴とする画像認識方法。
2. 【請求項２】 被測定物を有する被写体の濃淡画像を撮
   像する撮像部と、 上記撮像部により撮像された濃淡画像に基づいて上記被
   写体の２値化画像を作成する２値化画像作成部と、 上記２値化画像中の画素の連結領域にラベルを割り付け
   てラベル画像を作成するラベル画像作成部と、 上記ラベル画像から上記ラベルが割り付けられた上記被
   測定物の特徴値を抽出する特徴値抽出部と、 上記特徴値抽出部により抽出された特徴値を上記ラベル
   と対応づけて第１テーブルに登録する第１テーブル登録
   部と予め上記被測定物が位置すべき場所における上記被
   測定物の重心の座標を第２テーブルに登録する第２テー
   ブル登録部と、 上記第２テーブルに登録された上記被測定物の重心の座
   標を含む所定の領域の少なくとも一部が重なる上記連結
   領域に割り付けられたラベルを上記ラベル画像から抽出
   するラベル抽出部と、 上記ラベル画像から抽出されたラベルに対応する特徴値
   を上記第１テーブルから検索して確定する特徴値確定部
   とを備えたことを特徴とする画像認識装置。
3. 【請求項３】 請求項２に記載の画像認識装置におい
   て、 上記第２テーブルに登録される上記被測定物の重心の座
   標を含む所定の領域は、上記２値化画像の１画素である
   ことを特徴とする画像認識装置。
4. 【請求項４】 請求項２に記載の画像認識装置におい
   て、 上記第２テーブルに登録される上記被測定物の重心の座
   標を含む所定の領域は、上記被測定物より小さい形状の
   領域であることを特徴とする画像認識装置。