JP2008077668A - 画像認識による計測方法および記録媒体 - Google Patents

Abstract

【課題】 画像認識において、背景による各種外乱の影響を取り除き安定したパターン検出を可能とし、パターンマッチングの処理負荷を削減し処理時間を短縮させる。
【解決手段】 対象物と背景とを分離しそれらの濃度として各原画像の平均濃度を指定する。予めパターン画像の自己相関係数の計算を行う。パターン画像によるスキャン過程で、入力画像の自己相関係数とパターン画像・入力画像間の相互相関係数を計算する。パターン画像から背景部分を除外して対象部分のみでパターンマッチングを行うことにより、背景の外乱の影響が取り除け、計算時間も短縮する。
【選択図】 図７

Description

本発明は、プリント基板上の基準マーク、ランド、実装部品、はんだ、スクリーン印刷マスク上の基準マーク、版抜きパターン等を認識し位置決めをしたり、フリップチップ、チップスケールパッケージ（ＣＳＰ）、ボールグリッドアレイ（ＢＧＡ）、マルチチップモジュール（ＭＣＭ）の基準マーク、ランド、バンプ等を認識し位置決めしたり、また計測や検査を行う画像認識による計測技術に関するものである。

従来から、定型パターンの対象物を画像の中から検出する方法として、正規化相関法パターンマッチングを用いることが多い。しかしこのパターン画像（パターンマッチング用の基準画像）と入力画像（計測対象画像）をパターンマッチングする方法は、サーチ枠内入力画像にパターン画像をオーバーレイさせて対応する画素の１つ１つについて積和計算を行い、正規化相関係数値を求める。しかも、サーチ枠内入力画像に対してパターン画像を少しずつずらして正規化相関係数を求め、その最大値を得るという反復計算処理を総当たり法で行うので、計算量が膨大で計算時間が非常に多くかかる。

（１）正規化相関法パターンマッチングの問題
上記従来の画像認識による計測装置では、はんだレベラの基準マークやランドは、表面の凹凸による乱反射のため画像処理の濃淡画像でも濃淡ムラが生じる。原画像から取り込んだパターン画像と入力画像との正規化相関法パターンマッチングを行うとき、双方の画像の異なる濃淡ムラ模様のために、一致度が低下し正規化相関係数値が小さくなって、パターンマッチングが困難になる。

また、雛形の定型パターン画像と入力画像との正規化相関法パターンマッチングを行うときも、双方の濃度分布に隔たりがある（相似性が充分でない）と、パターンマッチングが困難になる。このため、図１２に示すようなはんだレベラの基準マーク・ランドの位置検出が充分行えない問題が発生していた。

更に、従来の正規化相関法パターンマッチングは、入力画像のサーチ枠内でパターン画像をスキャンする際に、パターン画像とそれに対応する入力画像との間で正規化相関係数の積和計算処理を反復するため、膨大な計算処理時間がかかっていた。このためパソコンのＣＰＵ（中央演算処理装置）ではリアルタイム処理ができず、専用の高速画像処理ボードが必要となり、独自アルゴリズムの開発に制約がかかるとともに、システム構成が複雑になり、コスト増加要因となっていた。
（２）文字検出の問題
従来、ロット＃等の文字列の検出では、文字列の原画像をパターン図形として登録しておいて、検出対象の文字列の入力画像とパターンマッチングする方法が採られていた。この場合、文字列の背景基板にシェーディング（陰影）、シルク、部分的な汚れ等があると、正規化相関係数値が著しく低下し、同一の文字列と認識されないことがあった。

例えば、図１１のように、黒色のロットナンバーが濃緑色の基板非配線部レジスト上にはみだして印字された場合には、黒色の文字と濃緑色の背景シェーディングとのコントラストが充分とれずに一体化してしまい、ロットナンバーの識別ができないことがあった。これは文字列も背景も全て１つのパターンとしてパターンマッチングを行うために、背景に外乱が入るとそれに影響されるためである。

人間の目では、背景に少々の外乱があっても、対象物の特徴情報から文字列の判断ができる。背景の外乱に影響されないような検出方法として、背景は除外し対象物のみのパターンマッチングを行うような方法が必要である。
（３）ランド・はんだ・実装部品の検出の問題
定型のランド、はんだ、実装部品の検出においても、それぞれの原画像をパターン図形として登録しておいて、対象とする入力画像とパターンマッチングする方法が採られている。

しかし、ランド・はんだ周辺の背景に、配線パターン、シルク、レジスト、フラックス等の外乱要因があると、背景画像に一様でない複雑な濃度分布や濃淡ムラが生じる。配線パターンは複雑な濃度分布を生み出し、白色シルクは背景に対象物相当以上の濃度ピークを出現させ、レジストやフラックスは、背景の濃度ムラや濃度レベルの変動を起こすので、大きな撹乱要因となる。

このため、背景のパターンマッチングがうまくいかないため、正規化相関係数値が低下しパターン検出に失敗することがあった。

本発明は上記の点に鑑みてなされたものでその目的は、背景に含まれる各種外乱の影響を取り除いて安定した確実なパターン検出を可能とし、パターンマッチングの処理負荷を削減して処理時間を大幅に短縮させた画像認識による計測方法および記録媒体を提供することにある。

（１）前記グレー処理は扱う画素データが膨大であり、処理に長時間を要するが、これに対して、矩形状関数パターンモデルを用いて相互相関係数の積和計算を簡単化することと、また、背景を除外して対象物のみのパターンマッチングを行うこととにより、パターンマッチング処理時間が大幅に短縮される。

更に、相互相関係数の積和計算を和の計算に簡単化することにより入力画像のノイズを平滑化し、背景を除外することにより背景の外乱の影響を抑えることができる。

またグレー処理、２値化処理の画像処理ボードを用いると、技術的制約を受けコストアップの要因ともなるが、これに対してグレー処理アルゴリズムを高速化してＣＰＵ上で処理する方式を採れば、適合性の良いアルゴリズムの開発、システム構成の単純化およびコスト低減が可能となる。
（２）そこで本発明の画像認識による計測方法では、グレースケール正規化相関法パターンマッチングを行って、計測対象物を検出する画像認識による計測方法において、
パターンマッチング用の基準画像の対象物と背景を分離し、
前記基準画像の対象物、背景の濃度として一定の濃度値を設定し、パターンマッチング用の基準画像として登録し、
前記分離された背景を除外した対象物領域の基準画像とそれに対応する入力画像との間の正規化相関係数の相互相関係数を計算することによって、基準画像と計測対象入力画像との間でパターンマッチングを行うことを特徴とし、
また、前記パターンマッチングは、正規化相関法を用い、前記基準画像・入力画像の相互相関係数、前記基準画像の自己相関係数、前記入力画像の自己相関係数の各係数計算から前記基準画像の背景部分に対応する計算を除外した正規化相関係数の計算を行うものであることを特徴としている。
（３）また、本発明の記録媒体は、前記のいずれかに記載の画像認識による計測方法をコンピュータに実行させるプログラムを、該コンピュータが読み取り可能な媒体に記録して成ることを特徴としている。

本発明によれば、次のような優れた効果が得られる。
（１）パターン画像を対象物と背景に分離して、背景部分を除外して対象物部分のみのパターンマッチングを行うことにより、背景に含まれる各種外乱の影響を取り除き、安定した確実なパターン検出を行うことができるとともに、パターンマッチングの処理時間が大幅に短縮する。
（２）パターンマッチング処理が高速化されるため、専用の高速画像処理ボードが不要になり、計測装置のシステムがシンプルかつローコストになる。また、高速画像処理ボードを使用するための制約がなくなってソフトウェア処理による自由度が得られ、計測対象に最適な計測アルゴリズムが組み込めるので、計測精度が向上する。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。

パターンマッチングの検出能力を高めるのに重要なファクタとしてパターン画像登録がある。パターンの形状だけでなく、対象物・背景の濃度分布がマッチングの一致度を高めるキーである。

正規化相関係数Ｃｒの定義式に従えば、高い一致度を得る（Ｃｒ〜１）ためには、パターン画像（パターンマッチング用の基準画像）と入力画像（計測対象入力画像）の対象物の形状・面積（サイズ）がほぼ等しくなければならない。

他方、濃度分布については、パターン画像と入力画像の対象物・背景の濃度分布が相似であれば充分である。前記パターン画像と濃度分布の一例は図８のように示され、入力画像と濃度分布の一例は図９のように示される。

また、はんだレベラのように乱反射による濃淡ムラのノイズがあると、原画像を取り込んだパターン画像と入力画像間の異なる濃淡ムラ模様のために、双方の濃度分布の相似性が崩れ、一致度が劣化しパターンマッチングが不成功に終わる可能性がある。

したがって、パターン画像側の対象物・背景のノイズを平滑化するために、パターン画像の濃度分布として対象物・背景の濃度にそれぞれの平均濃度を設定する。この濃度分布関数は、対象物の存在する定義域では高いレベルの濃度定数値を、背景の定義域では低いレベルの濃度定数値をとり、高原状関数又はその断面は矩形状関数となる（もともと、定型形状を持ち、面内部の表面性状が一定で濃度が一様な、基準マーク、ランドのモデルに適した関数）。

また、逆に、対象物の平均濃度を低いレベルに設定し、背景の平均濃度を高いレベルに設定するような、濃度レベルが反転するケースもある。

この高原状関数又は矩形状関数を用いると、正規化相関係数の計算を行う際に、パターン画像と入力画像の画素値の積和計算が、入力画像の画素値の和計算に単純化され、入力画像側のノイズも平滑化・平均化される。つまり、ノイズが平滑化されたパターンマッチングを行うので、ノイズに強くパターンマッチングの検出能力が大きく向上する。

図１は本発明による計測方法の一実施形態例を実施するためのブロック構成例を示す図である。図１において、１は計測対象を照明する照明装置、２は基準マーク等のパターン画像や計測対象物を撮像するカメラなどの撮像装置、３は撮像した画像を取り込む記憶装置（画像メモリ）、３１は記憶装置（画像メモリ）３上のパターン画像等をストアする記憶装置（ハードディスク）、４は入力した画像についてソフトウェアによる画像処理により画像認識と計測を行う処理装置（ＣＰＵ）、５は画像を表示する表示装置（ディスプレー）である。

図２、図３および図４は図１のシステムで実行される処理のフローチャートであり、図２は定型パターンの場合のパターン画像登録処理の手順を示し、図３は任意形状の場合のパターン画像登録処理の手順を示し、図４はパターンマッチング処理の手順を示している。

これらの図において、定型パターンの場合はまず対象物の原画像を表示する。そして既に登録されている雛形リストから定型パターンを選択し、サイズを指定し、原画像上に表示しパターンと形状の一致を確認する。サイズの指定は、定型パターンの代表点指定又はサイズパラメタ設定により行う。例えば円の場合は中心と円周上の点を指定すれば良く、複雑な形状の場合にはポリゴン表示を用いれば良い。

対象物・背景の濃度設定は、それぞれの平均濃度を設定する必要がある。デフォルト機能として、対象物の濃度設定は、原画像上に表示されたパターンの内部の濃度を平均して得られた平均濃度を設定する。

背景の濃度設定は、パターンの外部の濃度を平均して得られた平均濃度を設定する。ただしオプションで、対象物・背景の濃度指定も可能とする。

この後、正規化相関係数の計算に用いるパターン画像の自己相関係数を求めておく。

また、対象物が雛形リストに無いような任意形状を持つ場合、閾値指定で２値化し、対象物を背景から分離して輪郭を取り出すか、又は１次・２次微分により輪郭を抽出する。このようにして得られたパターンは原画像上に表示し形状の一致を確認する。そして前記と同様に対象物と背景の各平均濃度を設定し、正規化相関係数の計算に用いるパターン画像の自己相関係数を求める。

次に図４において、サーチ枠内の入力画像とパターン画像との間でパターンマッチングを行う。そしてサーチ枠内で、対象物を検出するためにパターン画像によるスキャンを行う。このスキャンの過程で、パターン画像と位置的に対応する入力画像との間で正規化相関係数の計算を行う。パターン画像の自己相関係数は既に求められているので、入力画像の自己相関係数とパターン画像と入力画像との間の相互相関係数を求める。そして、これら相関係数から正規化相関係数を求める。

相互相関係数は両画像の画素値の積和計算で求められるが、パターン画像の濃度分布は矩形状関数に従うので、対象物／背景の定義域で一定値であり、従って、積和計算は入力画像の画素値の和の計算だけで済む。

積和計算を和の計算に単純化することは、前述したノイズ平滑化に役立つだけではなく、計算時間の大幅な短縮に寄与する。特にスキャン過程での相互相関係数の計算を繰り返し反復するので、相関係数計算の時間短縮はパターンマッチング処理時間の大幅削減に繋がる。

前記スキャン処理が全て終了すれば、正規化相関係数の一番大きい値とパターン画像の位置を選び出す。パターン画像の位置はとりもなおさずパターン検出位置となる。

以下、正規化相関係数の計算については、平均値の減算を含まない移動正規化相関演算の例を示す。前記正規化相関係数Ｃｒは次の数式（１）のように表現される。尚、数式（１）のＳｐは図８のＳｐに対応している。

前記正規化相関係数は次の数式（２）、（３）、（４）から次の数式（５）のような性質をもつことが導かれる。

数式（５）の等号成立条件式に示されるように、パターン画像と入力画像の濃度分布関数が相似（ｔ∽ｆ）であるとき、正規化相関係数Ｃｒ＝１（ｍａｘ）となるので、パターン画像の濃度分布関数は入力画像の対象物／背景の濃度分布平均と相似であることが望ましい。従って、図８のようにパターン画像の濃度分布関数ｔをパターンの原画像の対象物／背景の濃度分布の平均値（平均値ｔ_F，ｔ_B）に設定する。

このとき、数式（１）における入力画像／パターン画像の相互相関係数は、次の数式（６）に変形できる。

であるので、相互相関係数（積和計算）は入力画像の濃度分布ｆの積分（和計算）となり、ノイズの平滑化が行われ、ノイズの影響を受けないパターンマッチングが可能となる。

前記数式（６）を画素で離散化すると、

となり、積和計算が和の計算に単純化されるので、計算が高速化する。

平均値の減算を含む正規化相関演算も、同様に相互相関係数の積和計算は和の計算に単純化できるので、同様の効果を得ることができる。

パターンマッチングの検出能力を高めるのに重要なファクタとしてパターン画像登録がある。パターンの形状だけでなく、対象物・背景の濃度分布がマッチングの一致度を高めるキーである。

正規化相関係数Ｃｒの定義式に従えば、高い一致度を得る（Ｃｒ〜１）ためには、パターン画像（パターンマッチング用の基準画像）と入力画像（計測対象入力画像）の対象物の形状がほぼ合同で、パターン画像と入力画像の対象物・背景の濃度分布が相似である必要がある。

プリント基板の背景には、配線パターン、シルク、部分汚れ、レジスト、フラックス等の外乱があるので、定型的ランド、はんだ、実装部品、ロット＃のパターンマッチングの際に、パターン画像と入力画像の背景部分で非相似アンマッチングが起こる。このため全体として一致度が低下して正規化相関係数値が小さくなり、パターンマッチングが不成功に終わることがあった。

そこで以下のようにしてパターン画像の対象物／背景を分離し、背景を除外して対象物のみパターンマッチングを行えば、背景の外乱の影響を小さくできる。すなわち対象物パターン画像のマッチングを行うために、パターン画像登録の段階で、対象物と背景の濃度分布を分離して登録するものである。

本発明の実施の形態においても、前記と同様に図１のシステムを用いて計測がなされる。図５、図６および図７は本発明による計測方法の一実施形態例のフローチャートであり、図５は定型パターン（定型的なランド、はんだ、実装部分）の場合のパターン画像登録処理の手順を示し、図６は任意形状、文字列の場合のパターン画像登録処理の手順を示し、図７はパターンマッチング処理の手順を示している。

図５、図６において、まず対象物の原画像を表示する。そして定型パターンの場合は、既に登録されている雛形リストから定型パターンを選択し、サイズを指定し、定型パターン内外の濃度を指定することで、対象物と背景とを分離する。また任意形状の場合は、輪郭抽出を行うことで対象物／背景の分離を行う。

そしてノイズ平滑化、相関係数計算高速化のために対象物と背景の濃度としてそれぞれの原画像の平均濃度を指定する。或は背景情報を除外するので、対象物＝１、背景＝０と濃度指定しても良い。またオプションとして、原画像の濃度分布やユーザ定義濃度分布を使用することもできる。

そして正規化相関係数の計算のために、パターン画像の自己相関係数の計算を行う。パターンマッチングは、パターン画像の対象物部分のみについて行い背景は除外するので、自己相関係数の計算も対象物部分についてのみ行う（パターン画像の対象物領域自己相関係数）。

これは、パターン画像の背景部マスクであって、入力画像の特定部を固定的にマスクするのとは異なり、サーチ枠内入力画像をパターン画像でスキャンするときに、背景部をマスクして対象部のみのパターンマッチングを行う一種の自動マスクとなる。

次に図７において、パターン画像の対象物部分とサーチ枠内の入力画像との間でパターンマッチングを行う。まずサーチ枠を設定し、サーチ枠内で、対象物を検出するためにパターン画像によるスキャンを行う。このスキャンの過程で、パターン画像の対象物部分と位置的に対応する入力画像との間で相互相関係数の計算を行う。また、パターン画像対象物領域に対応する入力画像の自己相関係数を計算する。そして、パターン画像の対象部分と対応する入力画像との間で正規化相関係数を求める。パターン画像から背景部分を除外しているので、背景の外乱の影響を最小限に抑えられ、計算時間の短縮に寄与する。

前記スキャン処理が全て終了すれば、正規化相関係数の一番大きい値とパターン画像の位置を選び出す。パターン画像の位置はとりもなおさずパターン検出位置となる。

図１０はパターン画像と対象物／背景分離の様子を示しているが、本発明では、図１０のように背景を除外したものでパターンマッチングを行うので、図１１のようなシェーディングのある入力画像であっても、そのシェーディングの影響を抑えることができる。

前記正規化相関係数Ｃｒは前記数式（１）のように表現される。パターン画像の対象物／背景の濃度分布はそれぞれ一定の平均値であるので、相互相関係数は次の数式（８）のように表される。

パターン画像から背景部分を除外するので、前記数式（８）の背景の項は無視する。

また自己相関係数は次の数式（９）、（１０）のように表される。

前記数式（９）、（１０）の背景の項は無視する。

従って、正規化相関係数Ｃｒは次の数式（１１）のように、背景部を除外した対象物のみの項からなる式で表されるので、背景の外乱の影響の抑止が可能となるとともに、パターンマッチング処理が高速化する。

平均値の減算を含む正規化相関演算も、同様に背景部を除去した対象物のみの項からなる式に単純化できるので、同様の効果を得ることが出来る。

なお、本発明は、ＣＰＵのソフトウェア処理により、リアルタイムのパターンマッチングを実現し、専用の高速画像処理ボードを使用しないことで、システム構成の単純化とコストダウンを実現する。従って、上記の各手順をＣＰＵに実行させるプログラムを、ＣＰＵが読取可能な記録媒体（例えば、フロッピーディスクやＣＤ−ＲＯＭなど）に記録して配布することが可能である。

本発明の実施形態例の方法を実行するシステムのブロック構成例を示す図である。 図１のシステムにおける、定型パターンのパターン画像の登録手順例を示すフロー図である。 図１のシステムにおける、任意形状のパターン画像の登録手順例を示すフロー図である。 図１のシステムにおける、パターンマッチングの手順例を示すフロー図である。 本発明の実施形態例における、定型パターンのパターン画像の登録手順例を示すフロー図である。 本発明の実施形態例における、任意形状のパターン画像の登録手順例を示すフロー図である。 本発明の実施形態例における、パターンマッチングの手順例を示すフロー図である。 本発明の実施形態例におけるパターン画像と濃度分布の関係を表し、（ａ）は平面図、（ｂ）は分布特性図である。 本発明の実施形態例における入力画像と濃度分布の関係を表し、（ａ）は平面図、（ｂ）分布特性図である。 本発明の実施形態例におけるパターン画像と対象物／背景分離を示す説明図である。 本発明の実施形態例におけるシェーディングのある入力画像の説明図である。 はんだレベラ基準マークを表す説明図である。

符号の説明

１…照明装置
２…撮像装置
３…記憶装置（画像メモリ）
４…ＣＰＵ（処理装置）
５…表示装置
３１…記憶装置（ハードディスク）

Claims (3)

1. グレースケール正規化相関法パターンマッチングを行って、計測対象物を検出する画像認識による計測方法において、
   パターンマッチング用の基準画像の対象物と背景を分離し、
   前記基準画像の対象物、背景の濃度として一定の濃度値を設定し、パターンマッチング用の基準画像として登録し、
   前記分離された背景を除外した対象物領域の基準画像とそれに対応する入力画像との間の正規化相関係数の相互相関係数を計算することによって、基準画像と計測対象入力画像との間でパターンマッチングを行うことを特徴とする画像認識による計測方法。
2. 前記パターンマッチングは、正規化相関法を用い、前記基準画像・入力画像の相互相関係数、前記基準画像の自己相関係数、前記入力画像の自己相関係数の各係数計算から前記基準画像の背景部分に対応する計算を除外した正規化相関係数の計算を行うものであることを特徴とする請求項１に記載の画像認識による計測方法。
3. 前記請求項１又は２に記載の画像認識による計測方法をコンピュータに実行させるプログラムを、該コンピュータが読み取り可能な媒体に記録して成ることを特徴とする記録媒体。

Images