JP2006107046A - 画像処理方法、画像処理装置及び半導体検査装置 - Google Patents

Abstract

【課題】加重平均処理およびパターンマッチングを行なう画像処理において、ランダムノイズが含まれている撮影画像（被サーチ画像）の撮影回数を減らしても、良好なパターンマッチング結果を得られる画像処理方法及び装置を実現する。
【解決手段】ランダムノイズが含まれる撮影画像の中から目的のパターンを認識するために、撮影画像を複数取得（１A-１L）して、その画像のマッチング候補像２A-2Lに加重平均処理を施し、加重平均処理された画像２´とテンプレート画像３とをパターンマッチングする。上記加重平均処理を行う場合に、加重平均処理を補助するための画像５（５A−５M）としてテンプレート画像３と同じパターンを含む画像を用意する。加重平均処理は、前記マッチング候補画像に加重平均補助用の画像も加えることにより行われる。
【選択図】 図１

Description

本発明は、ランダムノイズが含まれる撮影画像から目的のパターンを認識するための画像処理方法および装置に関する。

近年、デジタルカメラ、ビデオカメラ、電子顕微鏡といった撮像装置の高性能化と、マイクロプロセッサ、FPGA、ASICなどを搭載した演算装置の高性能化により、撮像装置で撮影した画像内に含まれている特定のパターンを認識する機能（以下、「パターンマッチング」と称する）を搭載した画像処理装置が実用化されている。例えば、車番認識機能を搭載した渋滞監視システム、顔認識機能を搭載した防犯装置、半導体ウェハの自動検査機能を搭載した半導体検査システムがそれにあたる。

パターンマッチングは、撮像装置で撮影した画像（以下、「被サーチ画像」と称することもある）の中から特定のパターンやその位置を認識（検出）するための手法である。パターンマッチングにおいては、認識したいパターンは、テンプレート画像として予め登録されている。そして、被サーチ画像の中の画像領域を、所定サイズ（テンプレート画像と同サイズ）で順次選択し、選択した画像領域ごとにスキャニングによりテンプレート画像との一致度（マッチング）を求める。このようにして、被サーチ画像から、一致度の高い画像、もしくはその画像の位置（以下「マッチング位置」とする）を認識することができる。

具体的には、図１８に示すように、被サーチ画像１からテンプレート画像３と同サイズの画像領域（以下、「マッチング候補画像２」とする）を切り出し、テンプレート画像３とマッチング候補画像２の各画素の輝度値を比較して、テンプレート画像３とマッチング候補画像２の一致度を求める。

通常は、被サーチ画像１の始点から終点まで１画素単位でマッチング候補画像２をずらしていき、マッチング候補画像２ごとにスキャニングによりテンプレート画像３との一致度を求める。それにより、被サーチ画像１内で最も一致度の高いマッチング候補画像４を決定する。被サーチ画像中のマッチング候補画像の座標位置がマッチング位置となる。

パターンマッチングの手法としては、単純に画像間の輝度比較を行う輝度差分法や、各画素の座標を極座標系に変換し、極座標上での形状により線図形を認識するハフ変換法（Maresca,M.,Lavin,M.,and Li,H.,Parallel HoughTransform Algorithms on Polymorphic Torus Ar-chitectureLevialdi,S.eds.,Multicomputer Vi-sion Academic Press,pp.9−21,）、画像の標準偏差を用いて正規化した後に画像間の相関を求める正規化相関法（R.L.Lillestrand: 乃echniques for change detection. IEEETrans. Computer, Vol. c-21, No.7, pp.654−659, 1972.）などが提案されている。この中でも正規化相関法は、実環境で発生しやすい「環境光の変動による画像間の輝度変動」に影響されない手法として広く利用されている。

しかし、このようなパターンマッチング方法は、いずれも画像に含まれるランダムノイズの影響を受けやすいといった問題をもっている。ランダムノイズは、周波数や振幅が不規則な信号である。物体からの反射光を光電変換素子で画像化するデジタルカメラ等の撮像装置では、フォトダイオードの暗電流、電荷検出アンプノイズ等の影響により撮影画像にランダムノイズが入る。

また、試料に電子ビームを照射して試料の照射面から放出された２次電子を収集し増幅および輝度変調して画像化する走査型電子顕微鏡などの撮像装置でも、試料中の電子の不規則な熱運動によって発生するノイズや、周辺回路から発生されるノイズの影響から撮影画像にランダムノイズが混在する。

このようなランダムノイズが含まれる画像は、被写体がもつ本来のパターン情報が欠落することになり、テンプレートとのパターンマッチングにおいて、画素間での一致、不一致の関係が正確に検出できず、誤ったマッチング位置を検出する原因になる。

撮影画像に含まれるランダムノイズを低減するパターンマッチング方法として、特許文献１（特開2000-342558）に記載されるように、マスクを用いたパターンマッチング方法がある。

この手法は、パターン情報以外の領域にマスクを施し、そのマスクされた領域では、マッチング計算を行わないことで、パターン情報以外の領域に含まれているノイズがマッチング結果に与える影響を低減するというものである。しかし、ランダムノイズが含まれた画像からマスク領域を抽出するのは非常に困難であるし、パターン情報に重なるノイズの影響を抑えることができない。また、特許文献２（特開平5-28273）、特許文献３（特開2000-260699）のように被サーチ画像に対してフィルタリングを行い、それによりノイズを低減した後にパターンマッチングを行う手法は数多く提案されているが、ノイズによって欠落したパターンの復元は非常に難しい。

ランダムノイズが含まれる画像をパターンマッチングの対象とする装置として、例えば半導体検査装置がある。半導体検査装置は、走査型電子顕微鏡で撮影した半導体ウェハの画像から半導体ウェハ上の検査位置を特定し、パターンの形状や欠陥の検査を行う。

検査の前工程として、基準となる半導体ウェハの検査位置（検査位置付近を含む場合もある）を走査型電子顕微鏡で撮影し、撮影画像をテンプレート画像として登録する。検査工程では、検査対象の半導体ウェハを撮影し、その撮影画像の中からテンプレート画像と一致する画像位置を、パターンマッチングによって特定した後、パターンの形状や欠陥の検査を行っている。

走査型電子顕微鏡は、上述したように試料の局所領域に電子ビームを照射し、試料の照射面から放出された２次電子を収集し増幅し、それに基づき画面上に輝度変調することにより、２次電子像を表示するものである。この際、電子ビームにより取得できる画像信号はその特性によりランダムノイズが多く含まれてしまうため、被写体を一回走査しただけでは鮮明な画像が得られず、ランダムノイズの影響を受けてパターンマッチングやその後の検査が正確に行えないといった問題がある。

このため、ランダムノイズを低減する目的で撮像位置を固定した状態で半導体ウェハを複数回撮影し、撮影した画像を加重平均することで撮影画像のＳ／Ｎ比を高め、鮮明な画像を取得してからパターンマッチングを行い、検査位置の特定や検査を行っている。加重平均処理を利用した従来技術は、例えば特許文献４（特開２００２−１５６９２）に記載されている。ランダムノイズは、撮影画像ごとに異なる位置や異なる態様で現れる。したがって、加重平均すれば、ランダムノイズの信号強度は弱まり、一方、正規なパターンは強調されるので、S/Nを高められる。

ランダムノイズを低減する目的で、加重平均を利用する方法は、半導体検査装置に限らず、ＣＣＤ、ＣＭＯＳといった光電変換素子を搭載した撮像装置にも適用されている。

特開２０００−３４２５５８号公報 特開平５−２８２７３号公報 特開２０００−２６０６９９号公報 特開２００２−１５６９２号公報 Maresca,M.,Lavin,M.,and Li,H.,Parallel HoughTransform Algorithms on Polymorphic Torus Ar-chitectureLevialdi,S.eds.,Multicomputer Vi-sion Academic Press,pp.9−21,） R.L.Lillestrand: 乃echniques for change detection. IEEETrans. Computer, Vol. c−21, No.7, pp.654−659, 1972.

加重平均数の増加は撮影時間の増加につながるため、例えば半導体検査装置では、検査時間を短縮する目的で加重平均数を少なく設定している。また、半導体は、微細加工されているため電子ビームのダメージを受けやすく、加重平均数を最低限に抑えて検査する必要性が高まっている。しかし、加重平均数を減らすと、S/Nが低下し、ランダムノイズの影響を受けてパターンマッチングが失敗することもある。

図９に正規化相関法を利用したパターンマッチング結果の一例を示す。テンプレート画像４０１と、被サーチ画像に含まれる画像Aパターン４０２および、画像Bパターン４０３を比較する過程において算出される各画素間の一致度を輝度情報に変換したものが画像Aパターンの相関像４０４、画像Bパターンの相関像４０５である。各画素の一致度の合計が各パターン画像の相関値となり、その大小関係から、テンプレート画像４０１と一致するパターンおよびそのマッチング位置を求めることができる。

輝度値の高い（明るい）画素がテンプレート画像４０１との一致を示す画素であり、輝度値の低い（暗い）画素は、テンプレート画像４０１との不一致を示している。画像Aパターン４０２は画像Bパターン４０３に比べて輝度値の高い画素が多いので、画像Aパターンの位置（座標）を、テンプレート画像４０１と一致するマッチング位置として検出することができる。

しかし、上述した例は、画像Ａパターン（マッチング候補A画像）４０２と画像Ｂパターン(マッチング候補B画像)４０３にノイズが重畳されていない場合の結果である。画像Ａパターン４０２と画像Ｂパターン４０３にランダムノイズを重畳させた画像がノイズ重畳画像Ａパターン４０６とノイズ重畳画像Ｂパターン４０７である。テンプレート画像４０１と、ノイズ重畳画像Ａパターン４０６およびノイズ重畳画像Ｂパターン４０７を比較する過程において算出される各画素間の一致度を輝度情報に変換したものが、ノイズ重畳画像Ａパターンの相関像４０８とノイズ重畳画像Ｂパターンの相関像４０９である。

相関像４０８および４０９には、ノイズが重畳されていない相関像４０４および相関像４０５に比べ、一致度が低くなっている画素が随所にみられる。これはランダムノイズの影響を受けて画像Ａパターン４０２、画像Ｂパターン４０３のような本来のパターンを失ったことが原因である。ノイズ重畳画像Ｂパターン４０７においては、ランダムノイズの影響を受けて、本来一致しないはずの画素位置の一致度が高くなっている画素もある。

このように被サーチ画像にランダムノイズが重畳してしまうと、正確な一致度を求めることができなくなる。被サーチ画像内にテンプレート画像に類似したマッチング候補が複数存在した場合、上記ランダムノイズが影響して本来検出すべきマッチング候補とは異なるマッチング候補の位置をマッチング位置として検出してしまうことがある。

このような誤検出（誤認識）防止手段として、前記加重平均処理が有効であるが、加重平均に使用する撮影画像を減少させた場合には、上記誤検出防止に支障をきたすこともある。

本発明の目的は、加重平均処理およびパターンマッチングを行なう画像処理において、ランダムノイズが含まれている撮影画像（被サーチ画像）の撮影回数を減らしても、良好なパターンマッチング結果を得られる画像処理方法及び装置を実現することにある。

本発明は、上記目的を達成するために、ランダムノイズが含まれる画像を加重平均処理する場合に、本来の加重平均対象となる画像（マッチング候補画像）のほかに加重平均処理を補助するための画像を用意し、加重平均処理を、前記加重平均補助用画像も加えて行うようにした。

図１に加重平均処理を伴うパターンマッチン方式の本発明と従来の画像処理方法を比較して示す。

図１の（ｂ）は従来方式である。この場合には、被検査の被写体からN枚の被サーチ画像１A−１N（図１４の被サーチ画像１４０２に相当）を撮影し（ステップＳ１）、その中からピックアップしたマッチング候補画像２A−２N（図１４のマッチング候補画像１４０３に相当）を加重平均処理し（ステップＳ２）、その後、加重平均されたマッチング候補画像２´とテンプレート画像３（図１４のテンプレート画像１４０１相当）とのパターンマッチングが実行される（ステップＳ３）。

図１の（ａ）は、本願発明の画像処理である。この場合には、被検査の被写体からL枚（L＜N；Ｌは１以上）の被サーチ画像１Ａ−１Ｌを撮影し（ステップＳ１）、その中からピックアップしたマッチング候補画像２A−２Nに、予め登録しておいたM枚（M≦L；Mは１以上）の加重平均補助用の画像５Ａ−５Ｍを加えて加重平均処理を行なう（ステップＳ２）。加重平均補助用の画像は、予め基準の被写体を撮影して登録されるが、それは、サーチ対象となるパターンを含む画像である。例えば、テンプレート画像の作成に利用した被写体と同じパターンを有する被写体を撮影し、これを加重平均に先立って予め登録しておくことにより得られる。加重平均補助用の画像は、テンプレート画像が兼ねることも可能である。その後のパターンマッチングは、上記ステップＳ３同様に行なわれる。

このように構成すれば、マッチング候補画像の撮影画像の枚数の減らしても、その分を、加重平均補助用の画像が補うことになる。すなわち、加重平均補助用の画像を多すぎない程度に適量使用すれば、それは被サーチ画像の中のパターン（マッチング候補画像のパターン）と一致する場合にだけ、パターンの検出信号の強度を高めることになるので、Ｓ／Ｎ比を高めることができる。

本発明によれば、加重平均処理およびパターンマッチングを行なう画像処理において、ランダムノイズが含まれている撮影画像（被サーチ画像）の撮影回数を減らしても、良好なパターンマッチング結果を得ることができる。特に多数の被検査物をパターンマッチングする場合には、加重平均補助用の画像は、それらの被検査物に共通して使用できるのでその効果は大きい。

まず、本発明の実施例に用いる画像処理装置の概要を図２により説明する。

本発明の画像処理装置は、図２（a）に示すように、例えば、ビデオカメラ，電子顕微鏡等の画像入力装置７６、キーボード，マウス等の情報入力装置７７、情報処理装置７０００、およびCRT等の情報出力装置（ディスプレイ）７８により構成されている。情報処理装置７０００は、画像処理装置の中枢をなし、この情報処理装置７０００に、画像入力装置７６、情報入力装置７７、情報出力装置７８が接続される。情報処理装置７０００および周辺装置を含めた外観の例を図１１に示す。

情報処理装置７０００は、ＣＰＵ７１、信号入力ＩＦ（インターフェース）７２、ＲＡＭ７３、ＲＯＭ７４、信号出力ＩＦ（インターフェース）７５、パターンマッチング装置１００、画像データ処理部７９により構成されている。

ＣＰＵ７１は、ＲＯＭ７４に格納された制御プログラムに基づき信号入力ＩＦ７２、信号出力ＩＦ７５、パターンマッチング装置１００、画像データ処理部７９、ＲＡＭ７３などを制御する。これらの制御により、画像入力装置７６からの画像データは、ＩＦ７２を介して入力され、ＲＡＭ７３に保存される。

ＲＡＭ７３は、画像データのほかにパターンマッチング処理のためのデータの蓄積やパターンマッチング結果を保存する。

パターンマッチング装置１００は、演算機能を有して、入力される被サーチ画像（被検査画像）のマッチング候補画像と加重平均補助画像とのデータを加重平均処理し、加重平均された画像とテンプレート画像との照合を行う。さらに、この照合を介して被サーチ画像データの中からテンプレート画像のパターンに最も一致度の高いパターン及びその位置（マッチング位置）を探し出す。パターンマッチングの結果は、ＲＡＭ７３に保存される。加重平均処理およびパターンマッチングの具体例は、後述する。

画像処理に関する情報、例えば加重平均やパターンマッチングの条件設定に関する情報は、情報入力装置７７から信号入力ＩＦ７２を介して情報処理装置７０００に入力され、ＲＡＭ７０３に保存される。

パターンマッチング結果は、信号出力ＩＦ７５を介して情報出力装置７８に出力される。

なお、パターンマッチング装置１００は後述する実施例で説明するブロックで構成されたＡＳＩＣ、ＦＰＧＡなどのハードウェアである。

信号入力ＩＦ７２は、ＵＳＢ、ＩＥＥＥ１３９４、セントロニクスやメモリカード、ＰＣＩ、Ｅｔｈｅｒｎｅｔ（登録商標）などのインターフェースである。画像入力装置７６からの画像データ、および情報入力装置７７からのデータを、情報処理装置７０００に入力する。

ＲＡＭ７３は、ＳＤＲＡＭ、ＳＲＡＭ、ＤＲＡＭやメモリカード、ハードディスクなどであり、画像データの蓄積や、パターンマッチングに利用するパラメータの保存を行うものである。

ＲＯＭ７４は、Ｆｌａｓｈ ＲＯＭなどで構成され、ＣＰＵ７１で使用する制御プログラムなどを保存するものである。

なお、パターンマッチングに利用するパラメータはＲＯＭ７３に保存してもよい。

信号出力ＩＦ７５はＵＳＢ、ＩＥＥＥ１３９４、セントロニクスやメモリカード、ＰＣＩ、Ｅｔｈｅｒｎｅｔなどのインターフェースであり、パターンマッチング結果を信号出力装置７８に出力するものである。

画像データ処理部７９は、ＲＡＭ７３に保存されている画像を入力として、画像内に含まれているランダムノイズや輝度むらといった情報を低減するような画像処理を行い、処理結果の画像をＲＡＭ７３に保存する。この画像データ処理部７９は、ＣＰＵ７１の制御によって起動、実行、終了を行うＦＰＧＡやＡＳＩＣなどの画像処理ハードウェアよりなる。なお、画像データ処理部７９は、必ずしもハードウェアである必要はなく、ランダムノイズや輝度むらといった情報を低減するような画像処理の機能をプログラム化してＲＡＭ７３、およびＲＯＭ７４に保存しておくことで、ＣＰＵ７１の制御によってソフトウェア処理することもできる。例えば、ソフトウェア処理でランダムノイズの低減処理を行い、ハードウェア処理で輝度むらの低減などを行うような構成でもよい。また、画像処理部７９の機能については限定するものではない。

図２（ａ）では、パターンマッチング装置１００の機能をハードウェアで構成するが、ソフトウェアプログラムで構成することも可能である。図２（ｂ）では、このようなソフトウェアプログラムを情報処理装置７００１に搭載したものである。なお、図２（ｂ）において、図２（ａ）と同一符号は、図２（ａ）の構成要素と同一或いは共通する要素を示すものである。

図２（ｂ）において、情報処理装置７００１は、ＣＰＵ７１、信号入力ＩＦ７２、メモリ（ＲＡＭ７３、ＲＯＭ７４）、信号出力ＩＦ７５、画像データ処理部７９により構成されている。本実施例では、図２（ａ）のパターンマッチング装置１００に相当する機能を、ＣＰＵ７１のソフトウェア処理で実行される。

信号入力ＩＦ７２、信号出力ＩＦ７５、画像データ処理部７９については、図２（a）に示したものと同様のため説明を省略し、ここでは、ＣＰＵ７１，ＲＡＭ７３、ＲＭ７４について具体的に説明する。

図２（ａ）のパターンマッチング装置１００の機能をソフトウェア処理で実行するためのプログラムは、ＲＡＭ７３、またはＲＯＭ７４に保存されており、ＣＰＵ７１はパターンマッチングのプログラムを実行する。パターンマッチングに利用するパラメータはＲＯＭ７３に保存してもよい。

本発明のパターンマッチング装置１００は、上記のようにハードウェアで実現したり、或いはソフトウェアで実現することができる。また、パターンマッチング装置の一部の機能をソフトウェアで実現し、残りの機能をハードウェアで実現することも可能である。

以下、本発明におけるパターンマッチング装置１００を、ハードウェアで実現する例を、実施例１，２に基づき説明し、ソフトウェアで実現する例を実施例３により説明する。また、半導体検査装置に本発明の画像処理技術を適用した例を実施例４により説明する。
〔実施例１〕
図３は、本発明に用いるパターンマッチング装置１００の基本構成をブロック図で示す。また、パターンマッチング装置１００とＣＰＵ７１とＲＡＭ７３との関係を示す。

RAM７３は、ランダムノイズが重畳された被写体の撮影画像（被サーチ画像１２；図１の被サーチ画像２Ａ−２Ｌに相当する）、テンプレート画像１０（図１のテンプレート画像３に相当する）、加重平均補助用画像１１（図１の加重平均補助用画像５Ａ−５Ｍに相当する）を記憶する。パターンマッチング装置１００は、ランダムノイズが重畳された被サーチ画像１２の中からテンプレート画像１０と一致するパターンを探し出し、そのパターンの存在する位置（マッチング位置）１７を検出することを目的としている。以下、各構成要素を説明する。

ＲＡＭ７３は、既述したように、パターンマッチングに使用する画像データ（テンプレート画像１０、加重平均補助用画像１１、被サーチ画像１２）を蓄積する。ＣＰＵ７１は、パターンマッチング制御手段として機能し、パターンマッチング装置１００の起動と終了、パターンマッチング装置１００への画像データおよびパラメータの入力、マッチング結果（マッチング位置１７）の出力を制御する。

パターンマッチングの手順を以下に示す。

パターンマッチング装置１００は、起動後、ＲＡＭ７３から被サーチ画像１２を読み込む。被サーチ画像１２は複数取得される。すなわち、被サーチ画像１２は、同一被写体に対して同一位置で複数回撮影して得られたものである。

テンプレート画像１０と比較すべきマッチング候補画像１８（図１のマッチング候補画像２Ａ−２Ｌに相当する）は、各被サーチ画像１２から切り出され、加重平均手段１４に入力される。

マッチング候補画像１８に加重平均補助用画像１１を加えて加重平均処理が行われ、加重平均後の画像１８´（図１の画像２´に相当する）は、パターンマッチング手段１５に入力される。

パターンマッチング手段１５は、テンプレート画像１０と加重平均された画像１８´とのパターンマッチングを行い、マッチング値（画像パターンの一致度）１９をマッチング値比較手段１６に入力する。マッチング値比較手段１６では、マッチング値の大きいマッチング候補を検出してマッチング結果１７を出力する。

上記したマッチング候補画像１８の切り出しは、被サーチ画像１２からテンプレート１０と同サイズの画像を抽出するものであり、基本的に被サーチ画像１２の始点から終点にかけて順次行うものである。加重平均補助用の画像１１とテンプレート画像１０は、被サーチ画像１２の始点から終点までのパターンマッチング過程において固定である。ここで、加重平均補助用画像１１とは、マッチング候補画像の加重平均に必要とされる画像データの補助に使用され、テンプレート画像１０と同じパターンを含む画像である。テンプレート画像１０と加重平均補助用画像１１は、パターンマッングの前工程として画像入力装置７６で撮影した画像の中から情報入力装置７７による指定によって、ＲＡＭ７３に登録されたものである。

テンプレート画像１０と加重平均補助用画像１１の登録は、図１３に示すテンプレート登録プログラム９０を利用することにより実現できる。

テンプレートの登録手順を図１２と図１３を用いて説明する。

テンプレート登録プログラム９０は、RAM７３もしくはROM７４に格納されており、CPU７１がそのプログラムを実行する。

テンプレート登録プログラム９０を実行する場合、ＲＡＭ７３にテンプレートとなる撮影画像８０が保存されていない場合は、画像入力装置７６でテンプレート画像となる被写体を撮影し（ステップ９００）、それをＲＡＭ７３に保存する。

次にＲＡＭ７３に保存されている撮影画像８０を、情報出力装置（ディスプレイ）７８に表示する（ステップ９０１）。

オペレータは、図１２に示すように、情報出力装置７８の画面をみながら、情報入力装置７７を用いて撮影画像８０内の所望のパターンを含む画像領域の座標を指定する。CPU７１は、その座標情報の指定を受けて、その座標範囲の画像領域８１をテンプレート画像１０として登録する（ステップ９０２）。次に加重平均補助用の画像１１を登録する（ステップ９０５）。加重平均補助用の画像１１は、テンプレート画像１０のパターンと同じパターンを含む画像である。

ここでパターンとは、被写体の形状を示す輝度情報を指している。つまり、被写体の画像化に光学式の撮像装置が使用された場合には、被写体からの反射光もしくは、透過光の強度が被写体の形状を示す輝度情報であり、被写体の画像化に電子顕微鏡が使用された場合には、被写体から放出された二次電子、反射電子を収集、増幅したものが被写体の形状を示す輝度情報である。

通常は撮影の過程で、被写体の形状を示す輝度情報にランダムノイズが重畳するが、テンプレート画像１０および加重平均補助用画像１１として登録する画像は、ランダムノイズの影響を受けず、被写体の形状を正確に示す輝度情報を持つ画像が望ましい。

以上から、テンプレート画像１０を加重平均補助用画像１１として登録してもよいし、テンプレート画像１０を抽出した撮影画像８０以外の撮影画像からテンプレート画像１０と同じパターンを切り出して登録しても良い。

なお、本例では、加重平均補助用画像１１として登録する被写体を撮影し（ステップ９０３）、ＲＡＭ７３に保存した後、その撮影画像を情報出力装置７８に表示させ（ステップ９０４）、その撮影画像の確認後に該画像を加重平均補助用画像１１として登録している。

テンプレート画像１０を加重平均補助用画像１１として利用する場合には、ステップ９０３、９０４は省略される。

加重平均手段１４は、既述したように、マッチング候補画像１８に、加重平均補助用画像１１を加えて加重平均処理を行う。

加重平均とは、加重対象の複数の画像（本実施例では、マッチング候補画像１８と加重平均補助用画像１１）の各画素の輝度値に重み付け係数を掛けることで、それらの複数画像の重み付き平均画像（以下、加重平均画像とする）を求めるものであり、式１で表すことができる。重み付けの係数k1=k2＝０．５を通常値とするが、これは限定しない。

Dst(i,j)=k1×Img1(i,j)＋k2×Img2(i,j) …式１
ｋ１＋ｋ２＝1.0
Dst(i,j)：加重平均処理画像
Img1(i,j)：マッチング候補画像
Img2(i,j)：加重平均補助画像
図５は、加重平均手段１４のハード構成を示すものであり、マッチング候補画像Img1(i,j)の各画素の輝度値に重み付け係数ｋ１を掛けるための乗算器１４１と、加重平均補助画像Img２(i,j)の各画素の輝度値に重み付け係数ｋ２を掛けるための乗算器１４２と、重み付け処理されたマッチング候補画像と加重平均補助画像の各画素の輝度値を加算する加算器１４３によって構成される。

加重平均による効果について、図８の輝度プロファイルを用いて説明する。

輝度プロファイルは、画像上の座標を横軸として、各座標の画素の輝度値を縦軸に表したものである。破線１はランダムノイズが重畳していないパターン（画像信号）、破線２がランダムノイズ、実線はランダムノイズが重畳した画像信号を示している。

図８には、テンプレート画像１０の輝度ファイル３０１、被サーチ画像内のマッチング候補Ａ画像１８−１の輝度ファイル３０２、マッチング候補Ｂ画像１８−２の輝度ファイル３０３、加重平均補助用画像１１の輝度ファイル３０４を例示している。２つのマッチング候補画像のうち、輝度ファイル３０２は、被サーチ画像におけるマッチング位置（すなわち、テンプレート画像と同一のパターンが存在する位置の画像）の輝度ファイルである。輝度ファイル３０３は、被サーチ画像における非マッチング位置の輝度ファイルである。なお、各マッチング候補画像１８−１，１８−２は、実際には、同一位置で同一被写体に対して複数回撮影された複数枚の被サーチ画像から切り出されるために、各マッチング候補画像１８−１，１８−２がそれぞれ複数存在するが、ここでは、便宜上、代表的に各々一枚だけを例示している。

マッチング候補画像１８−１，１８−２は、共にランダムノイズの影響を受けてパターンが欠落しており、仮に各々一枚だけをテンプレート画像とパターンマッチングした場合には、マッチングの過程で誤った一致度を検出し、ミスマッチングされることがある。

このような不具合を解消するために、各マッチング候補画像は、複数取得されて、加重平均手段１４によって加重平均されるが、本実施例では、被サーチ画像の撮影回数を減らすために、各マッチング候補画像に加重平均補助用画像１１を加えて加重平均処理を行う。すなわち、マッチング候補Ａ画像１８−１と加重平均補助用画像１１との加重平均処理、およびマッチング候補Ｂ画像１８−２と加重平均補助用画像１１との加重平均処理を行う。ここで、加重平均補助用画像の枚数がマッチング候補画像に較べて多すぎると、各マッチング候補画像の加重平均後の画像データが似通ってきてしまうので、適度な量に制限する必要がある。以上を考慮して、各マッチング候補画像の枚数（被サーチ画像の枚数）Lと加重平均補助用の画像の枚数Mとは、Ｌ＞Mの関係にある。

このような加重平均処理によれば、マッチング候補Ａ画像１８−１については、ランダムノイズが低減され、また、加重平均補助用画像１１の加入により、テンプレート画像と一致すべきパターンの明りょう化を図れる。この場合の加重平均後の画像１８´−１の輝度ファイルが図８の３０５で示される。

一方、マッチング候補Ｂ画像１８−２（テンプレート画像１１と一致しない画像）については、加重平均後の画像１８´−２の中に加重平均補助用画像３０４のパターンが重み付け係数k2の割合で含まれることになる。例えばｋ１＝０．５、ｋ２＝０．５とした場合、加重平均補助用画像１１のパターンが１／２含まれた画像を得ることになる。このような場合においては、加重平均後のマッチング候補画像１８´−２がテンプレートに類似する傾向となる。しかし、加重平均によってランダムノイズが低減される。また、非マッチング位置のマッチング候補B画像１８−２にテンプレート画像とパターンが同一の加重平均補助用画像１１が加わったとしても、それは各画像における加重平均処理枚数のうち少数であるので、加重平均によりそのパターンは希釈化される。そのため、本来のパターン情報が良好に抽出できるようになる。３０６は、この画像１８´−２の輝度ファイルである。このため、加重平均処理後のパターンの差３０をマッチング結果に反映させることでマッチング候補間の一致度の差を検出することが可能となる。

図３において、パターンマッチング手段１５は、テンプレート画像１０（図８の輝度ファイル３０１相当）と加重平均画像１８´（図８の加重平均画像１８´−１、１８´−２の輝度ファイルに相当）のパターンマッチングを行い、一致度（以下、マッチング値１９とする）を計測する。パターンマッチングの手法は、各加重平均画像１８´のパターン情報の差３０に基づき一致度を判定できる手法であればよく、その具体的な手法は、限定しない。つまり、加重平均によって変化したパターン（不一致のマッチング候補）と、加重平均により変化しなかったパターン（一致のマッチング候補）の差を利用して一致度を計測するパターンマッチング手法であればよい。

上記のようなパターンマッチングの手法としては、例えば、単純に画像間の輝度比較を行う輝度差分法や、画像の標準偏差を用いて正規化した後に画像間の相関を求める正規化相関法などがある。

マッチング値比較手段１６は、各マッチング候補画像のマッチング値１９の中から最も高いマッチング値を検出して、そのマッチング値をもつマッチング候補画像の被サーチ画像内での画像位置（位置座標）をマッチング位置１７として出力する。
〔実施例２〕
図４は、本発明の実施例２におけるパターンマッチング装置１００のブロック図である。

本実施例において、実施例１と同一符号は、実施例１に用いる構成要素と同一或いは共通する要素を示す。

本実施例において、実施例１と相違する点は、加重平均手段１４の後段に画像変換手段２０を設けたことである。

画像変換手段２０は、加重平均された画像１８´に対して、パターンとランダムノイズ成分を分離した画像（ここでは、「加重平均変換画像」と称する）２１を生成するものである。パターンとランダムノイズを分離する方法としては、フーリエ変換を利用した方法やフィルタ係数を利用した方法など様々あるが、ノイズの低減効果があるものであれば、これを限定しない。

図１０を用いて画像変換の一例を示す。

マッチング候補A画像１８−１およびマッチング候補Ｂ画像１８−２に対して、加重平均補助用画像１１をk1=0.5，k2=0.5の重み付け係数で加重平均した画像が加重平均Ａ画像１８´−１および加重平均Ｂ画像１８´−２である。加重平均Ａ画像１８´−１および加重平均Ｂ画像１８´−２に対し、画像変換手段２０を用いて、式２に示すエッジ抽出フィルタを適用した画像が、加重平均Ａ変換画像５０９および加重平均Ｂ変換画像５１０である。

符号５０４、５０５で示す画像は、本実施例に対する比較例であり、それらは、マッチング候補Ａ画像１８−１、マッチング候補Ｂ画像１８−２に対して、それぞれ加重平均を行わずに直接式２に示すフィルタ処理を施した画像である。加重平均を行わない画像に比べ、加重平均を行った画像は、エッジ成分とノイズ成分が良好に分離できているのが分かる。このような画像変換手段２０を適用することで、ランダムノイズの影響を更に低減した画像でパターンマッチングを行うことができる。

i,j：画像座標
Dst２(i,j)：加重平均処理変換画像
Dst(i,j)：加重平均処理画像
Fx(i,j)：水平方向のエッジ成分
Fy(i,j)：垂直方向のエッジ成分
式２における、Fx(i,j)は、画像の水平方向の隣接画素同士の濃淡の勾配のあるところをエッジとして求め、同じくFy(i,j)は、画像の垂直方向の隣接画素同士の濃淡の勾配のあるところをエッジとして求めている。

図６は、上記式２を実行するための画像変換手段２０（エッジ抽出フィルタ）のハード構成を示す一例であり、引き算器１５１、１５２、加算器１５３、１５４、１５５、１５６、１５７、１５８、乗算器１５９、１６０、引き算器１６１、１６２、二乗演算器１６３、１６４、加算器１６５、ルート演算器１６６により構成される。

図７（a）は、上記式２が適用される画像座標データであり、同図（b）は、その水平方向エッジ成分を求める場合（画像変換する場合）の各画素に適用される係数であり、どう図（ｃ）は、の加重平均処理変換にその垂直方向エッジ成分を求める場合（画像変換する場合）の各画素に適用される係数である。
〔実施例３〕
図１６は、実施例１および実施例２で示した本発明のパターンマッチング装置１００の機能をソフトウェアで実行するためのパターンマッチングプログラムのフローチャートである。

パターンマッチングプログラムは、図２(b)に示した情報処理装置７００１のＲＡＭ７０３、およびＲＯＭ７０４に格納されており、情報入力装置７０６の指示を受けたＣＰＵ７０１がパターンマッチングに必要な起動、実行、終了の制御を行うものである。

パターンマッチングプログラム起動後、ＲＡＭ７０３に格納されている画像を利用してテンプレート画像１０の登録を行い（ステップ１２０１）、加重平均補助用画像１１を登録する（ステップ１２０２）。ＲＡＭ７０３に格納されている被サーチ画像１２からマッチング候補画像１８を切り出し、加重平均補助用画像１１とテンプレート画像１０の加重平均を行い、加重平均画像１８´を生成する（ステップ１２０３）。加重平均画像１８´、もしくは加重平均画像１８´を画像変換（ステップ１２０４）した加重平均変換画像２１に対してテンプレート画像１０とのパターンマッチングを行なう（ステップ１２０５）。被サーチ画像１２の終点までパターンマッチングが終了した時点で、最もマッチング値の高いマッチング候補の画像位置を検出し（ステップ１２０７）、ＲＡＭ７０３および情報出力装置７０８に出力する（ステップ１２０８）。これらの加重平均処理、画像変換処理、パターンマッチングは、CPU７０１の演算により行なわれる。
〔実施例４〕
図１４は、上記した図２の画像処理装置（情報処理装置）７０００を半導体検査装置１００１に適用したブロック図である。

本例の装置１００１は、走査型電子顕微鏡７６で撮影した画像を利用して、半導体ウェハの検査を行うものである。ブロック図の構成要素であるＣＰＵ７１、信号入力ＩＦ７２，ＲＡＭ７３、ＲＯＭ７４，信号出力ＩＦ７５、画像データ処理部７９、情報出力装置７７、パターンマッチング装置１００は、図２（a）で示した画像処理装置７０００の構成要素と同等のため、説明を省略する。

半導体検査装置１００１のコスト、要求性能により、本例のパターンマッチング装置１００は、実施例１、２で示したハードウェアで構成してもよいし、実施例３で示したソフトウェアで構成してもよいし、或いは一部をハードウェア、残りをソフトウェアで構成してもよい。

検査工程の全体制御は、ＣＰＵ７１がＲＡＭ７３およびＲＯＭ７４に格納された検査制御プログラムを利用することで行う。検査制御プログラムの処理フローを図１７に示す。

検査の前工程として、実施例１に示したテンプレート登録プログラムを起動して半導体ウェハ上の検査パターン、もしくは検査パターンとその付近のパターンをテンプレート画像１０として登録し、テンプレート画像１０と同じパターンを含む加重平均補助用の画像１１を登録する（ステップ１３０１）。テンプレート画像１０、加重平均補助用画像１１の作成については、既述したので省略する。続いて半導体ウェハ上の検査位置を登録する（ステップ１３０２）。

図１５に半導体ウェハ１１０１、走査型電子顕微鏡７６により半導体ウェハ１１０１上の所定の位置を撮影した画像１１０２、テンプレート登録プログラムにより登録するテンプレート画像１１０３、検査位置を指定するための指標１１０４の関係を示す。検査位置は、情報出力装置７７に表示される画像１１０２の任意の位置に情報入力装置７７による指標１１０４の操作により特定することができる。

ステップ１３０２の後、走査型電子顕微鏡のスキャン方法や測長検査、欠陥検査などの検査方法を登録する（ステップ１３０３）。

その後に検査工程が入る。検査工程では、検査の対象となる半導体ウェハを電子顕微鏡で撮影し（ステップ１３０４）、撮影画像（既述の被サーチ画像１２に相当する）をＲＡＭ７３に保存する。テンプレート１０、加重平均補助用画像１１、被サーチ画像１２からのマッチング候補画像に関するデータをパターンマッチング装置１００に入力して、加重平均処理、パターンマッチングを行うことにより、マッチング位置を得る（ステップ１３０５）。

なお、ステップ１３０５では、図１６に示す画像変換の実行１２０４を含む。続いてマッチング位置の座標が知り得ることから、マッチング位置の画像内に検査位置１１０４を特定し、検査処理装置１００２を起動して検査方法の登録１３０３で指定した検査を行う（ステップ１３０６）。その後、検査結果をＲＡＭ７３および情報出力装置７７に出力する。ウェハの検査が終了次第、検査制御プログラムを終了する。なお、検査処理装置１００２は、画像処理部７９と同様にＦＰＧＡ、ＡＳＩＣなどのハードウェアで構成してもよいし、検査処理装置１１０２の機能をプログラム化してＲＡＭ７３およびＲＯＭ７４に登録しておき、ＣＰＵ７１の制御によって起動、実行、終了するソフトウェアで構成してもよい。

（ａ）は、本発明の画像処理に関する原理図、（ｂ）は、従来方式の画像処理の原理図。 （ａ）は、本発明の実施例１に係るパターンマッチング装置を搭載した情報処理装置（画像処理装置）を示すブロック図、（ｂ）は、同じく実施例２の情報処理装置のブロック図。 実施例１に用いるパターンマッチング装置を示すブロック図。 実施例２に用いるパターンマッチング装置を示すブロック図。 実施例１における加重平均処理手段の構成を示す図。 実施例２における加重平均処理手段の構成を示す図。 実施例２の加重平均処理に用いるデータを示す図。 本発明のパターンマッチング装置で利用する画像の輝度プロファイルを示した図。 本発明のパターンマッチング装置で利用する画像を示した図。 本発明のパターンマッチング装置で利用する画像を示した図。 本発明のパターンマッチング装置を搭載した情報処理装置と周辺装置の外観を示した図。 情報出力装置の外観と、本発明のパターンマッチング装置で利用する画像を示した図。 テンプレート登録プログラムのフローチャート。 本発明の画像処理装置を搭載した半導体検査装置を示すブロック図。 半導体ウェハと撮影画像およびテンプレート画像の関係を示した図。 本発明のパターンマッチング装置の機能を示すフローチャート。 本発明のパターンマッチング装置の機能を含む半導体検査工程を示すフローチャート。 テンプレートを用いたパターンマッチングの手順を示した図。

符号の説明

１０…テンプレート画像、１１…加重平均補助用画像、１２…被サーチ画像、１４…加重平均処理手段、１５…パターンマッチング手段、１６…マッチング値比較手段、１７…マッチング位置、１８…マッチング候補画像、１８´…加重平均画像、２０…画像変換手段、２１…加重平均変換画像、１００…パターンマッチング装置、３０１…テンプレート画像の輝度プロファイル、３０２…マッチング候補Ａ画像の輝度プロファイル、３０３…マッチング候補Ｂ画像の輝度プロファイル、３０４…加重平均補助用画像の輝度プロファイル、３０５…加重平均Ａ画像の輝度プロファイル、３０６…加重平均Ｂ画像の輝度プロファイル、３０…加重平均後のパターン情報の差、４０１…テンプレート画像、４０２…マッチング候補Ａ画像、４０３…マッチング候補Ｂ画像、４０４…マッチング候補Ａ画像の相関像、４０５…マッチング候補Ｂ画像の相関像、４０６…ノイズが重畳したマッチング候補Ａ画像、４０７…ノイズが重畳したマッチング候補Ｂ画像、４０８…ノイズが重畳したマッチング候補Ａ画像の相関像、４０９…ノイズが重畳したマッチング候補Ｂ画像の相関像、７１…ＣＰＵ、７２…信号入力ＩＦ、７３…ＲＡＭ、７４…ＲＯＭ、７５…信号出力ＩＦ、７６…画像入力装置、７７…情報入力装置、７８…情報出力装置、７９…画像処理部、７０００…情報処理装置、７０１…ＣＰＵ、７０２…信号入力ＩＦ、７０３…ＲＡＭ、７０４…ＲＯＭ、７０５…信号出力ＩＦ、７０６…画像入力装置、７０７…情報入力装置、７０８…情報出力装置、７０９…画像処理部、７００１…情報処理装置、８０…撮影画像、８１…テンプレート画像、加重平均補助用画像、１００１…半導体検査装置、１００２…検査処理部、１１０１…半導体ウェハ、１１０２…半導体ウェハの撮影画像、１１０３…テンプレート画像、１１０４…検査位置、１４０１…テンプレート画像、１４０２…被サーチ画像、１４０３…マッチング候補画像、１４０４…マッチング位置。

Claims (9)

1. ランダムノイズが含まれる撮影画像の中から目的のパターンを認識するために、前記撮影画像を複数取得して加重平均処理を施し、加重平均処理された画像とテンプレート画像とをパターンマッチングする画像処理方法において、
   前記加重平均処理を補助するための画像として前記テンプレート画像と同じパターンを含む画像を用意し、前記加重平均処理は、前記撮影画像に前記加重平均補助用の画像も加えることにより行われることを特徴とする画像処理方法。
2. 請求項１において、前記加重平均補助用の画像は、前記テンプレート画像の作成に利用した被写体と同じパターンを有する被写体を撮影することにより得られたものである画像処理方法。
3. 請求項１において、前記加重平均補助用の画像は、前記テンプレート画像が兼ねている画像処理方法。
4. 請求項１において、前記画像処理方法は、被検査物の表面状態を検査するために使用され、前記ランダムノイズが含まれる撮影画像は、被検査物の表面を複数回撮影して得られた複数の撮影画像であり、前記加重平均補助用の画像は、前記被検査物と同じパターンを有する基準の被写体を検査に先立って撮影することにより予め用意され、前記ランダムノイズが含まれる撮影画像の枚数Nと前記加重平均補助用の画像の枚数Mとは、Ｌ＞Ｍの関係にある画像処理方法。
5. 認識対象となるパターンを含む撮影画像を複数取得して加重平均処理し、加重平均処理された画像とテンプレート画像とをパターンマッチングして前記パターンを認識する画像処理装置において、
   前記テンプレート画像と同じパターンを含む画像を、前記加重平均処理を補助するための画像として登録する手段と、
   前記撮影画像に前記加重平均補助用の画像も加えて加重平均処理を行う手段と、を備えていることを特徴とする画像処理装置。
6. 請求項５において、前記加重平均した画像からランダムノイズを低減する手段を備えたことを特徴とする画像処理装置。
7. 請求項５において、撮影された被写体の画像を表示するディスプレイと、このディスプレイに表示された画像から前記テンプレート画像および前記加重平均補助用の画像を指定する情報入力手段と、前記情報入力手段の指示に基づき前記テンプレート画像および加重平均補助用の画像をデータ保存部に登録するデータ登録手段とを備えた画像処理装置。
8. 走査型電子顕微鏡の撮影によって得られた検査対象の半導体の表面画像データを入力して半導体の検査を行う半導体検査装置において、
   半導体の表面画像データを処理する手段として、検査対象の撮影画像を複数取得して加重平均処理し、加重平均処理された画像とテンプレート画像とをパターンマッチングしてテンプレートとパターンが一致する撮影画像中のマッチング位置を検出する画像処理装置と、半導体表面上のマッチング位置のパターンを検査する手段を備え、
   且つ、前記画像処理装置は、前記テンプレート画像と同じパターンを含む画像を、前記加重平均処理を補助するための画像として登録し、この加重平均補助用の画像を検査対象の前記撮影画像に加えて加重平均処理を行う機能を有することを特徴とする半導体検査装置。
9. 請求項８において、半導体検査の工程を制御する手段と、前記走査型電子顕微鏡からの撮影画像やテンプレート画像、加重平均補助用の画像などを保存するデータ保存手段と、撮影画像に対して輝度むら除去などの画像処理を行う手段と、半導体ウェハの検査を行う検査処理手段と、前記テンプレート画像、加重平均用の画像および前記走査型電子顕微鏡からの撮影画像内の検査位置を指定する情報入力装置と、前記情報入力装置の指示を受けて前記テンプレート画像および加重平均用の画像をデータ保存手段に登録する手段と、前記走査型電子顕微鏡の撮影画像、テンプレート画像、加重平均補助用の画像およびパターンマッチングの結果などを表示する情報出力装置と、を備えたことを特徴とする半導体検査装置。
   

Images