JP2009258968A - 画像検査装置 - Google Patents

画像検査装置 Download PDF

Info

Publication number
JP2009258968A
JP2009258968A JP2008106847A JP2008106847A JP2009258968A JP 2009258968 A JP2009258968 A JP 2009258968A JP 2008106847 A JP2008106847 A JP 2008106847A JP 2008106847 A JP2008106847 A JP 2008106847A JP 2009258968 A JP2009258968 A JP 2009258968A
Authority
JP
Japan
Prior art keywords
image
template
matching
correlation value
contribution rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008106847A
Other languages
English (en)
Other versions
JP4926116B2 (ja
Inventor
Yuichi Abe
雄一 安部
Koji Ikeda
光二 池田
Yoshimichi Sato
美道 佐藤
Yasutaka Toyoda
康隆 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp, Hitachi High Tech Corp filed Critical Hitachi High Technologies Corp
Priority to JP2008106847A priority Critical patent/JP4926116B2/ja
Priority to US12/920,724 priority patent/US8498489B2/en
Priority to PCT/JP2009/057662 priority patent/WO2009128505A1/ja
Publication of JP2009258968A publication Critical patent/JP2009258968A/ja
Application granted granted Critical
Publication of JP4926116B2 publication Critical patent/JP4926116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

【課題】パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、的確なマッチング位置が得られる統一的なテンプレート・マッチング手法を提供する。
【解決手段】テンプレート・マッチングで得られた正規化相関マップに重心距離フィルタを施して得られた上位候補の各位置周辺における相関値寄与率マップを作成し、これらの相関値寄与率マップから補正強度画像を作成し、補正強度画像に基づいて輝度補正し、各候補位置周辺で再度局所的にマッチングを行い、新たに得られた候補位置と相関値によって候補をソートしなおす。これにより、パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、統一的に的確なマッチング位置を得ることができる。
【選択図】図5

Description

本発明は画像検査装置に関し、例えば、半導体検査装置などテンプレート・マッチングを行い、画像検査する装置に関するものである。
従来から、対象画像において与えられた特定の形状(テンプレート)を探索する技術はテンプレート・マッチングとして広く用いられている(非特許文献1参照)。
走査式電子顕微鏡を用いた半導体ウェハ上のパターンの計測においても、計測位置を求めるためにテンプレート・マッチングが行われている。計測位置の大まかな位置合わせはウェハを載せたステージの移動によって行われるが、ステージの位置決め精度では電子顕微鏡の高い倍率で撮影された画像上で大きなズレが生じる。このズレを補正して正確な位置での計測を行うためにテンプレート・マッチングが行われる。具体的には計測位置に近いユニークなパターンをテンプレートとして登録して、テンプレートから見た計測位置の相対座標を記憶しておく。撮影した画像から計測位置を求める時は、撮影した画像においてテンプレート・マッチングを行ってマッチング位置を求め、そこから記憶しておいた相対座標分移動したところが計測位置となる。
図1は走査式電子顕微鏡におけるテンプレート・マッチングを説明するための図である。まず、対象物(図1A)の計測位置を撮影してその中に含まれるユニークなパターンをテンプレートとして登録する。このとき撮影された画像(図1B)をテンプレート選択画像といい、テンプレート選択画像から選ばれたユニークなパターン(図1C)をテンプレートという。次に、別の対象物(図1D)(図1Dは図1Aと同じウェハ上の同一パターンを持った別の場所、例えば同じウェハ上に繰り返し形成されているダイの同一部分であってもよいし、異なるウェハ上の同一パターンを持った場所でもよい)を撮影した時に、撮影画像の中からテンプレートとマッチするパターンを探す。この撮影画像(図1E)を探索画像という。テンプレート選択画像Bと探索画像(図1E)の間には、ステージの位置決め誤差分のズレがある場合があり、このズレをテンプレート・マッチングで補正する。テンプレート・マッチングの結果、テンプレートとの類似度(相関)が高い箇所がマッチング位置の候補となるが、これらの候補の中から最もマッチング位置に相応しい箇所が最終的なマッチング位置となる。
走査式電子顕微鏡を用いた半導体ウェハ上のパターンの計測では、パターン形状が画一的に形成できていないような場合に、歪みのあるパターン同士をテンプレート・マッチングする必要が生じてくる。これは半導体加工の微細化が進み、再現性高く同一の形状を形成することが難しくなってきているためである。このような場合はテンプレートのパターンと探索画像中の目的のパターンの間に多少歪みがあってもテンプレート・マッチングでこの歪みを許容(歪んでいてもマッチングしていると認識できるようにすること)する必要がある。
半導体ウェハ上のパターンの走査式電子顕微鏡による画像はエッジによって構成されている。即ちほぼ同一の輝度を持った領域同士の境目やホワイトバンドと呼ばれる白いエッジがどのように配置されているかが重要となる。
この点に関し、例えば、非特許文献2は、エッジ画像のテンプレート・マッチングにおいてエッジ画像を太らせる(膨張させる)ことでスケーリングなどの歪みを許容し、安定したマッチングを実現することを開示している。図2は、テンプレートと探索画像が互いに半径が異なるリング状のホワイトバンドの画像であった場合と、夫々のホワイトバンドを太らせた場合のテンプレート・マッチングの様子を示したものである。図2Aは大きな半径のリング状ホワイトバンドのテンプレート選択画像全体をテンプレートとしたものである。図2Bは、図2Aの半径より小さな半径のリング状ホワイトバンドがある探索画像である。図2Aをテンプレートとして図2Bでテンプレート・マッチングすると、正規化相関マップは図2Cのようにリング状になりリングの中心(歪みの中心)をマッチング位置(正規化相関値最大、即ち正規化相関マップで最大輝度の位置)とすることが出来なくなる。これに対して図2A及びB夫々を太らせた画像図2D及びEでテンプレート・マッチングすると、正規化相関マップは図2Fのように中心が最も明るい円となり、リングの中心をマッチング位置とすることが出来るようになる。
Azriel Rosenfeld、Avinash C. Kak著Digital Picture Processing 8.3節参照 「輪郭点情報を用いた高速テンプレートマッチングアルゴリズム」電子情報通信学会論文誌Vol.J74-D2No.10pp.1419-1427、2.2節
上述のように、エッジを太らせることである程度歪みを許容したテンプレート・マッチングが出来る。
しかしながら、強い(輝度の高い)エッジと弱い(輝度の低い)エッジが混在している場合にはこれだけでは上手く行かない場合がある。
図3は、強いエッジと弱いエッジが混在している半導体ウェハ上のパターンを示している。図3Aがテンプレート、図3Bが探索画像であるが、共に横方向に強いエッジがあり斜め方向に弱いエッジがある。また、斜め方向のラインの幅が図3AとBで異なっている。図3CとDは図3AとBにそれぞれ微分フィルタを施して作成した夫々のエッジ画像である。このような画像では横方向のエッジが強いため、横方向のエッジの微妙な曲がり具合などを合わせ込みに行って、斜めの弱いエッジの位置合わせが旨く出来ない場合が多い。このようなケースを解決するために、弱いエッジを強調するような輝度補正を加えるのも一つの有効な手段ではある。しかし、輝度補正によってノイズが強調され悪影響を及ぼすケースもある。
図4は、弱いエッジを強調する輝度補正がテンプレート・マッチングに悪影響を及ぼす例を示している。正規のパターンは中心のリング状のものだけで、その内部のブツブツや周囲の襞状の模様はノイズである。テンプレートのリング状のパターンの半径の方が探索画像の半径より少し大きい。このケースではエッジを太らせるだけでマッチングが成功するが、弱いエッジを強調するような輝度補正を施すとノイズが強調されてしまい、失敗してしまう。
このように輝度補正を施す方が良い場合と施したら返って結果が悪くなる場合があり、統一的な手法で解決できるには至っていない。
本発明はこのような状況に鑑みてなされたものであり、パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、的確なマッチング位置が得られる検査装置を提供するものである。
上記課題を解決するために、本発明では、エッジ画像同士のテンプレート・マッチングで得られたマッチング位置の上位候補の各位置において相関値寄与率マップを作成し、相関値寄与率マップに基づいて輝度補正し、各候補位置周辺で再度局所的にマッチングを行い、新たに得られた候補位置と相関値によって候補をソートし直す。なお、エッジ画像は、太らせた(エッジ膨張処理した)方が好ましい。
また、本発明では、太らせない(エッジ膨張処理しない)エッジ画像同士のテンプレート・マッチングで得られた正規化相関マップに重心距離フィルタを施して得られた上位候補の各位置周辺における相関値寄与率マップを作成し、これらの相関値寄与率マップから補正強度画像を作成し、補正強度画像に基づいて輝度補正し、各候補位置周辺で再度局所的にマッチングを行い、新たに得られた候補位置と相関値によって候補をソートし直す。
即ち、本発明による画像検査装置は、テンプレート及び探索画像を取得し、その探索画像に対してテンプレート・マッチングを実行する画像検査装置であって、テンプレート及び探索画像のエッジ画像を生成するエッジ画像生成部と、テンプレート及び探索画像のエッジ画像を用いて、テンプレート・マッチングを実行するテンプレート・マッチング処理部と、テンプレート・マッチングで得られた複数のマッチング結果の各候補位置において、テンプレート及び探索画像の類似度を得るために寄与する部分を示す相関値寄与率マップを生成する相関値寄与率マップ生成部と、相関値寄与率マップに基づいて、テンプレート及び探索画像の輝度を補正する輝度補正部と、輝度補正されたテンプレート及び探索画像を用いて、マッチング結果の各候補位置の周辺で再度局所的にマッチングを実行する局所的マッチング処理部と、局所的マッチング処理により新たに得られた候補位置及び相関値に基づいて、複数のマッチング結果をソートするソーティング処理部と、を備えることを特徴とする。
当該画像検査装置は、さらに、テンプレート及び探索画像のエッジ画像に対して膨張処理を実行するエッジ膨張処理部を備え、テンプレート・マッチング処理部は、エッジ膨張処理されたテンプレート及び探索画像を用いてテンプレート・マッチングを実行する。
また、相関値寄与率マップ生成部は、複数のマッチング結果のうち、正規化相関値が高いものから所定個数選択して相関値寄与率マップを生成する。
さらに、相関値寄与率マップ生成部は、テンプレート及び探索画像のエッジ画像において画素値を所定値以上有する部分を示す相関値寄与率マップを作成する。
相関値寄与率マップでは、類似度に寄与する部分の画素が第1の値(例えば、「1」)を示し、類似度に無関係な部分の画素が前記第1の値とは異なる第2の値(例えば、「0」)を示す。この場合、輝度補正部は、相関値寄与率マップの第1の値を示す画素値を補正することにより、テンプレート及び探索画像のエッジ画像における輝度が低いエッジ部分の輝度を上げるようにしている。
本発明による別の態様の画像検査装置は、テンプレート及び探索画像を取得し、その探索画像に対してテンプレート・マッチングを実行する画像検査装置であって、テンプレート及び探索画像のエッジ画像を生成するエッジ画像生成部と、テンプレート及び探索画像のエッジ画像を用いて、テンプレート・マッチングを実行するテンプレート・マッチング処理部と、テンプレート・マッチングで得られる正規化相関マップに対して重心距離フィルタ処理を実行する重心距離フィルタ処理部と、重心距離フィルタ処理結果から、テンプレート・マッチングにより得られた複数のマッチング結果において、正規化相関値が所定値より高い候補位置を抽出する上位候補抽出部と、各候補位置において、テンプレート及び探索画像の類似度を得るために寄与する部分を示す相関値寄与率マップを生成する相関値寄与率マップ生成部と、相関値寄与率マップに基づいて、テンプレート及び探索画像の輝度を補正する輝度補正部と、輝度補正されたテンプレート及び探索画像を用いて、マッチング結果の各候補位置の周辺で再度局所的にマッチングを実行する局所的マッチング処理部と、局所的マッチング処理により新たに得られた候補位置及び相関値に基づいて、複数のマッチング結果をソートするソーティング処理部と、を備えている。
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
本発明によれば、パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、的確なマッチング位置が得られるようになる。
以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
(1)第1の実施形態
<検査装置の構成>
図5は、本発明の第1の実施形態による検査装置50の概略構成を示す図である。なお、図5には電子顕微鏡の構成は示されていない。検査装置50としては、電子顕微鏡によって取得した画像が探索画像として保存できるような構成であれば、電子顕微鏡が検査装置50に直接接続されていなくても良い。
検査装置50は、例えば、MPUやCPU等により構成され各種処理を実行する処理部51と、処理部51の処理結果を格納する保存部52と、一時的にデータを格納等するRAM(Random Access Memory)53と、処理部51の処理プログラムやパラメータ等を格納するROM(Read Only Memory)54と、検査結果や画像を表示するための表示装置55と、を備えている。
処理部51は、テンプレート画像及び探索画像のエッジ画像を生成するエッジ画像生成部511と、両方のエッジ画像にエッジ膨張処理を施すエッジ膨張処理部512と、テンプレート・マッチングを実行するテンプレート・マッチング部513と、テンプレート・マッチング結果から正規化相関値が高いものから上位所定個のマッチング結果を抽出する上位候補抽出部514と、相関値寄与率マップを生成する相関値寄与率マップ生成部515と、相関値寄与率マップに基づいて膨張処理されたテンプレート画像と探索画像の輝度補正を行う輝度補正部516と、輝度補正された画像に対して上記上位候補として抽出された位置において局所的にマッチング処理を実行する局所的マッチング部517と、局所的マッチング結果から最も上位にある候補を最上位候補として抽出する局所的最上位候補抽出部518と、得られた最上位候補をソートして最終的なマッチング位置を決定する最上位候補群ソーティング部519と、を備えている。
保存部52は、テンプレート画像を保存するテンプレート画像保存部521と、探索画像を保存する探索画像保存部522と、テンプレートエッジ画像を保存するテンプレートエッジ画像保存部523と、探索画像のエッジ画像を保存する探索画像エッジ画像保存部524と、上位候補の位置情報を保存する上位候補位置保存部525と、相関値寄与率マップを保存する相関値寄与率マップ保存部526と、輝度補正したテンプレート画像を保存するテンプレート輝度補正画像保存部527と、輝度補正した探索画像を保存する探索画像輝度補正画像保存部528と、最上位候補を保存する最上位候補保存部529と、を備えている。
エッジ画像生成部511は、テンプレート画像保存部521及び探索画像保存部522からテンプレート及び探索画像を取得し、それらに対してエッジ画像作成を行なう。エッジ膨張処理部512は、それぞれのエッジ画像に対してエッジ膨張処理を行い、テンプレートエッジ画像保存部523及び探索画像エッジ画像保存部524にそれぞれ格納する。
テンプレート・マッチング部513は、テンプレートエッジ画像保存部523に格納されたエッジ画像をテンプレートとして、探索画像エッジ画像保存部524に格納されたエッジ画像に対してテンプレート・マッチングを行なう。
上位候補抽出部514は、テンプレート・マッチング処理の結果得られた候補のうち上位のものを上位候補位置保存部525に格納する。
相関値寄与率マップ生成部515は、テンプレートエッジ画像保存部523に格納されたエッジ画像と探索画像エッジ画像保存部524に格納されたエッジ画像を用いて、上位候補位置保存部525に格納された各候補位置に応じた相関値寄与率マップを作成し、それを相関値寄与率マップ保存部526に格納する。相関値寄与率マップの生成については後述する。
輝度補正部516は、相関値寄与率マップとテンプレートエッジ画像保存部523に格納されたエッジ画像から各候補毎のテンプレート輝度補正画像を作成してテンプレート輝度補正画像保存部527に格納する。また、輝度補正部516は、相関値寄与率マップと探索画像エッジ画像保存部524に格納されたエッジ画像から各候補毎の探索画像輝度補正画像を作成して探索画像輝度補正画像保存部528に格納する。
局所的マッチング部517は、テンプレート輝度補正画像をテンプレートとして、探索画像輝度補正画像に対して候補位置の周辺で局所的にテンプレート・マッチングを行なう。
局所的最上位候補抽出部518は、局所的テンプレート・マッチングの結果、最も上位にある候補を最上位候補として最上位候補保存部529に格納する。
最上位候補群ソーティング部519は、各候補毎に得られたその周囲での局所的な最上位候補を全てソートしなおして最終的なマッチング位置を決定する。
なお、図6に示されるように、上位候補位置保存部525、相関値寄与率マップ保存部526、テンプレート輝度補正画像保存部527、探索画像輝度補正画像保存部528、及び最上位候補保存部529は、上位候補抽出部514で得られた各候補ごとに座標や画像を格納している。
<処理部の動作内容>
カメラや電子顕微鏡などで撮影された画像、或いはそれを一旦保存しておいた画像がテンプレート選択画像として保存部52(テンプレート画像保存部521)に入力される。テンプレートはテンプレート選択画像から切り出される。テンプレートは探索画像に対してテンプレート・マッチングを行うまで保存部に記憶されている。
また、探索画像としては、カメラや電子顕微鏡などで撮影された画像、或いはそれを一旦保存しておいた画像が用いられ、それに対してテンプレート・マッチングが実行される。
以下、処理概要について図7を用いて説明する。図7は、本発明の第1の実施形態による検査装置の動作の概要を説明するためのフローチャートである。
まず、エッジ画像生成部511が、テンプレート及び探索画像のそれぞれのエッジ画像を作成する(ステップS701)。エッジ画像はソーベルやラプラシアンなどのエッジ抽出機能を持ったフィルタを施すことで得られる。次に、エッジ膨張処理部512が、テンプレート及び探索画像のエッジ画像に対して膨張処理を施す(ステップS702)。膨張処理を行うにはカーネル内の最大画素値を注目画素の新たな値とする最大値フィルタやガウシャンなどのローパスフィルタで実現できる。
続いて、テンプレート・マッチング部513が、膨張処理が施されたテンプレート画像と探索画像との間でマッチング処理を実行する(ステップS703)。このとき、複数の位置において、相関値(類似度を示す)が得られる。そして、上位候補抽出部514が、複数得られたマッチング位置から所定値以上の相関値を有する位置を上位候補として抽出する(ステップS704)。
相関寄与率マップ生成部515が、各上位候補位置において、相関値寄与率マップを生成する(ステップS705)。相関値寄与率マップの生成の詳細については後述する。そして、輝度補正部516が、相関値寄与率マップに基づいてテンプレート及び探索画像の輝度補正を行い、局所的マッチング部517が、輝度補正されたテンプレートと輝度補正された探索画像との間でパターンマッチングを実行する(ステップS706)。
そして、局所的最上位候補抽出部518が、局所的テンプレート・マッチングの結果、最も上位にある候補を最上位候補とし、最上位候補群ソーティング部519が、各候補毎に得られたその周囲での局所的な最上位候補を全てソートしなおして最終的なマッチング位置を決定する(ステップS707)。
以下、テンプレート・マッチング処理以下の各ステップの詳細について説明する。
<テンプレート・マッチング処理>
テンプレート・マッチングを実行する前には、実際前処理が行われる。図8はその前処理を示す図であり、例えばテンプレート選択画像、及び探索画像として入力される走査式電子顕微鏡画像を表している。走査式電子顕微鏡画像は非常にノイズが多く、そのままではパターンがノイズに埋もれてしまってパターンの判読が難しい(図8A参照)。そのため何度か同じ画像を取り直して、それらを積算する(図8B及びC参照)。パターンの情報は取り直しても変化しないが、ノイズは取り直すたびにランダムに変化するため、積算することによってノイズが減少してパターンがはっきり現れるようになる。
次にテンプレート・マッチングについて図9を用いて説明する。図9Aが探索画像を表し、図9Bがテンプレート(参照画像)を表している。ここで、テンプレート・マッチングとは、探索画像中でテンプレートと同じ部分を検出する処理をいう。具体的には、例えば探索画像にテンプレートをずらしながら重ね合わせて正規化相関を計算して、最も高い相関値が得られた場所をテンプレートと同じパターンを持った場所と判断する、という処理が挙げられる。
CD−SEMは、走査式電子顕微鏡を用いて半導体ウェハ上の特定箇所を測長する検査装置であるが、測長すべきウェハ上の箇所を特定するために、最初のウェハの測長を行う際に、測長箇所の付近でユニークなパターンを持つ部分をテンプレートとして登録しておき、次回からは同じ場所の測長ではテンプレート・マッチングで得られた座標を基に測長箇所を特定するということが行われる。
図9の場合には、図9Cのaの位置でテンプレートと同じパターンを持っている。また、同じパターンではないが次に相関値が高くなるところは図9Dのb,c,d,eの4箇所である。更に、その次に相関値が高くなるのは図9Eのf,gである。それ以外の場所では相関は殆どなく、相関値は0に近い値となる。図9Fは正規化相関マップといって座標ごとの相関値を画素値とする画像である。aにおいて値a’を取りこれは1に近い値となる。b,c,d,e,f,gでも値b’,c’,d’,e’,f’,g’を取るが、これはa’に比べたら低い値となる。
図10は、正規化相関マップからマッチング位置を決定する一例を挙げている。横軸はx−y座標、縦軸は相関値を表している。最も相関値が大きいところがテンプレートと最もよくマッチングした位置である。相関値の最大値v1が所定の閾値th1よりも小さくなっている場合はテンプレートと一致する箇所はなかったと考えるのが妥当である。また、2番目に大きい相関値v2とv1の差v1−v2が所定の閾値th2よりも小さくなっている場合は、相関値の大小ではなく周辺の相関値の合計の大小でマッチング位置を決定するなどの方法が挙げられる。これはパターン形状に歪みがある場合は相関値に高いピークは出ず、周辺の相関値が全体的に高くなるためである。
そして、テンプレート・マッチング結果として得られた複数のマッチング位置から、正規化相関マップにおいて相関値が大きいものから所定個数(k個)を選択し、それらが上位候補とされる。全てのマッチング位置を検討する必要がないので、処理が早くなる(スループットが向上する)という効果が期待される。
<相関値寄与率マップ生成処理>
図11及び12は、正規化相関マップ領域と相関値寄与率マップの大きさを示している。相関値寄与率マップとは正規化相関を求めるときの各対応画素毎の類似性を画素値とした画像で、テンプレートと探索画像の位置関係毎に一枚定義される。しかし、必ずしも相関値寄与率マップの画素値の総和がその位置関係での正規化相関値となる必要はなく、相関値寄与率マップの画素値の求め方は使い勝手が良いように決めればよい。正規化相関を計算するサイズが相関値寄与率マップのサイズとなる。
図11は、テンプレートが探索画像より小さくテンプレート全体のサイズで正規化相関を計算する場合を示している。即ち、相関値寄与率マップのサイズはテンプレートのサイズと一致する。正規化相関マップの各点における値を、その点をテンプレートの左上端にあわせた時のテンプレートとの相関値として定義した時、正規化相関マップの右下端はテンプレートを探索画像の右下一杯に重ねた時のテンプレートの左上端と一致する。従って、正規化相関マップ領域の大きさは、探索画像の縦横の長さそれぞれからテンプレートの縦横の長さそれぞれを引いたものとなっている。
図12は、テンプレートと探索画像のサイズが同じようなときにテンプレートと探索画像が重なっている部分でのみ正規化相関を計算する場合を示している。即ち、この場合、相関値寄与率マップのサイズはテンプレートと探索画像の重なり部分のサイズである。重なっているところだけ相関値を計算すれば、正規化相関マップ領域のサイズは探索画像と同じにすることができるである。但し、テンプレートを移動しながら正規化相関を計算する際、この重なり部分のサイズは変化するため、相関値寄与率マップのサイズも位置により変化することになる。重なり部分の大きさの最小値を1画素まで許せば、正規化相関マップのサイズは探索画像のサイズに等しくなる。なお、重なりが1画素では常に正規化相関値は1となり、実質的には無意味である。
<相関値寄与率マップ生成処理>
図13は、テンプレートエッジ画像と探索画像エッジ画像で共通の(或いは類似した)パターンを抽出する原理を示したものである。テンプレートエッジ画像には正方形のようなパターンがあり、探索画像にも同様のパターンが4箇所存在するが、探索画像にはそれ以外に正方形内部に円形のようなパターンも存在するものとする。この時、テンプレートと類似した正方形のようなパターンを抽出する方法を説明する。
まず、テンプレートエッジ画像をテンプレートとして、探索画像エッジ画像に対してテンプレート・マッチングを行い、上位の候補位置における相関値寄与率マップを作成する。相関値寄与率マップは、テンプレートエッジ画像と探索画像エッジ画像の両方で対応画素の画素値の高い画素の値が大きくなり、どちらか一方の画素値でも低い場合の画素の値は低くなるものとする。このような相関値寄与率マップには探索画像エッジ画像に存在した円のようなパターンはほとんど見られなくなる。しかし、ノイズで偶然両画像とも画素値が高い場合があるので相関値寄与率マップにもノイズは含まれる。この相関値寄与率マップを適当な閾値で2値化してオープニング、クロージング処理を施せば、テンプレートエッジ画像と探索画像エッジ画像の両方に存在する正方形のようなパターンのみが抽出される。複数の画像で共通して(或いは類似して)存在するパターンは真のパターンである可能性が高いため、このような方法でエッジとノイズをある程度切り分けることが可能である。
図14は、2値画像の相関値寄与率マップの作成例を示している。fをテンプレート、gを探索画像(実際には共にエッジ画像)としてf(x,y)は(x,y)座標におけるテンプレートの画素値を表すものとする。hは相関値寄与率マップを表している。fa及びgaは相関値寄与率マップのサイズに対応するテンプレートの画素値の平均値、及び探索画像の画素値の平均値である。ただし、厳密に平均値である必要はなく、エッジ部分の画素値が平均値より大きく、エッジ以外の画素値が平均値より小さくなることが重要である。強いエッジが密に存在する画像で中に弱いエッジが少し混じっている場合、平均値より弱いエッジの画素値が小さくなる場合もあるので場合によっては平均値より少し小さめに設定する方が安全である。各座標(x,y)に対し(f(x,y)−fa)>0かつ(g(x,y)−ga)>0の時相関値寄与率マップの画素値h(x,y)を1、それ以外の時0とする2値画像である。これにより相関値寄与率マップが生成される。
図15は、相関値寄与率マップが2値画像である場合のノイズ除去について示す図である。オープニング処理は収縮後に膨張させる処理であり、黒画素地にある白画素ノイズを除去できる。クロージング処理は膨張後に収縮させるものであり、白画素地にある黒画素ノイズを除去できる。画質によってこれらのうち何れか若しくは両方を施すと良い。なお、クロージング処理とオープニング処理はどちらを先に施すかで結果が変わってくる。
図16は、グレースケールの相関値寄与率マップの作成例を示している。図16Aは、各座標(x,y)に対し(f(x,y)−fa)>0かつ(g(x,y)−ga)>0の時相関値寄与率マップの画素値h(x,y)をh(x,y)=(f(x,y)−fa)×(g(x,y)−ga)、それ以外の時0とするものである。これもf(x,y)>fa且つg(x,y)>gaの時正となり、それ以外では0である。これを一般化したのが図16Bであり、各座標(x,y)に対し相関値寄与率マップの画素値h(x,y)をh(x,y)=F((f(x,y)−fa),(g(x,y)−ga))、但し、F(a,b)は単調非減少関数で、a≦0又はb≦0で0となる。グレースケールとして画素値に連続性を持たせることで、エッジかどうか妖しい場合にどちらかに決めるのではなくエッジらしさをそのまま評価できるようになる。
図17は、相関値寄与率マップがグレースケールの場合のノイズ除去について示す図である。ノイズ除去の方法としては、たとえば、メジアンフィルタ(図17A参照)を用いる場合や、最大値フィルタと最小値フィルタを組み合わせたもの(図17B参照)を用いる場合が考えられる。メジアンフィルタにはエッジを鈍らせずにノイズ除去する効果がある。また、最大値フィルタは2値画像の膨張、最小値フィルタは2値画像の収縮と同様の働きがある。これらを組み合わせてクロージング(窪地の解消)やオープニング(山の解消)が出来る。
<輝度補正マッチング処理>
図18は、各候補位置での輝度補正マッチング、つまり輝度補正を実行した後にマッチングを行う処理を説明するための図である。
各候補位置においてテンプレートエッジ画像、探索画像エッジ画像それぞれ、相関値寄与率マップに基づいて輝度補正が施される(ステップS1801)。輝度補正が施されるのは相関値寄与率マップのサイズと同じ範囲である。その後この候補位置での局所的なマッチングが行われる(ステップS1802)。ここで、「局所的」とは、候補位置を中心にパターン歪み量の最大値と同等の範囲でマッチングを行うことを意味している。この時、輝度補正を施した領域だけではマッチングが完結しない場合もある。このような時は輝度補正していない部分はそのまま扱うか、図12と同じような考え方で輝度補正した部分だけを使う、或いはテンプレートを少し狭く取り直すなどの対応策が考えられる。最後に、この候補位置の周辺で最も相関値が高かった位置とその相関値を最上位候補として抽出する(ステップS1803)。
図19は、相関値寄与率マップが2値画像の場合の輝度補正について説明するためのフローチャートである。ここで画像Aとはテンプレート、若しくは探索画像の候補位置における相関値寄与率マップと重なる部分を指す。画像Bは相関値寄与率マップである。画像A中で初期対象画素を設定する。画素毎の処理が終わったら対象画素を変更して画像Aの全ての画素が処理されるまで繰り返す。普通は初期対象画素を左上にとり右へ、下へというスキャンラインの順序で処理する。画素毎の処理では画像Bの対応画素の画素値が1である場合には画素値を補正し、そうでなければ補正しない。
実際の画素値の補正については、図20に示すように、弱いエッジ位置の輝度値を引き上げるような画素値の変換が行われる。
図21は、相関値寄与率マップがグレースケールの場合の輝度補正について説明するためのフローチャートである。処理手順は2値画像の場合と同じだが、相関値寄与率マップの値で補正するかしないかを決めるのではなく、相関値寄与率マップの値に応じた補正を行う。
図22は、輝度補正の具体的内容を示している。相関値寄与率マップの画素値が0の所では補正はしない。相関値寄与率マップの画素値が1の所での補正を図20のように決めておき、相関値寄与率マップの画素値が中間の時はその値で内分した補正を行う。ここで、相関値寄与率マップの画素値は最大値が1となるように正規化して説明している。
最後に各候補位置の周辺で最も相関値が高かった最上位候補同士の相関値を比較して候補をソートしなおす。
(2)第2の実施形態
<検査装置の構成>
図23は、本発明の第2の実施形態による検査装置230の概略構成を示す図である。なお、図5同様、図23にも電子顕微鏡の構成は示されていない。
検査装置230は、例えば、MPUやCPU等により構成され各種処理を実行する処理部231と、処理部231の処理結果を格納する保存部232と、一時的にデータを格納等するRAM(Random Access Memory)233と、処理部231の処理プログラムやパラメータ等を格納するROM(Read Only Memory)234と、検査結果や画像を表示するための表示装置235と、を備えている。
処理部231は、テンプレート画像及び探索画像のエッジ画像を生成するエッジ画像生成部2311と、テンプレート・マッチングを実行するテンプレート・マッチング部2312と、テンプレート・マッチング処理の結果(正規化相関マップ)に対して重心距離フィルタによる処理を実行する重心距離フィルタ処理部2313と、重心距離フィルタ処理されたテンプレート・マッチング結果から正規化相関値が高いものから上位所定個のマッチング結果を抽出する上位候補抽出部2314と、相関値寄与率マップを生成する相関値寄与率マップ生成部2315と、相関値寄与率マップに基づいてテンプレート画像と探索画像の輝度補正を行う輝度補正部2316と、輝度補正された画像に対して上記上位候補として抽出された位置において局所的にマッチング処理を実行する局所的マッチング部2317と、局所的マッチング結果から最も上位にある候補を最上位候補として抽出する局所的最上位候補抽出部2318と、得られた最上位候補をソートして最終的なマッチング位置を決定する最上位候補群ソーティング部2319と、を備えている。
保存部232は、テンプレート画像を保存するテンプレート画像保存部2321と、探索画像を保存する探索画像保存部2322と、テンプレートエッジ画像を保存するテンプレートエッジ画像保存部2323と、探索画像のエッジ画像を保存する探索画像エッジ画像保存部2324と、上位候補の位置情報を保存する上位候補位置保存部2325と、相関値寄与率マップを保存する相関値寄与率マップ保存部2326と、輝度補正したテンプレート画像を保存するテンプレート輝度補正画像保存部2327と、輝度補正した探索画像を保存する探索画像輝度補正画像保存部2328と、最上位候補を保存する最上位候補保存部2329と、を備えている。
エッジ画像生成部2311は、テンプレート画像保存部2321及び探索画像保存部2322からテンプレート及び探索画像を取得し、それらに対してエッジ画像作成を行なう。
テンプレート・マッチング部2312は、テンプレートエッジ画像保存部2323に格納されたエッジ画像をテンプレートとして、探索画像エッジ画像保存部2324に格納されたエッジ画像に対してテンプレート・マッチングを行なう。
重心距離フィルタ処理部2313は、後述する重心距離フィルタ処理を正規化相関マップに対して実行する。
上位候補抽出部2314は、テンプレート・マッチング処理の結果得られた候補のうち上位のものを上位候補位置保存部2325に格納する。
相関値寄与率マップ生成部2315は、抽出された上位候補について、各候補位置に応じた相関値寄与率マップを作成し、それを相関値寄与率マップ保存部2326に格納する。
輝度補正部2316は、相関値寄与率マップとテンプレートエッジ画像保存部2323に格納されたエッジ画像から各候補毎のテンプレート輝度補正画像を作成してテンプレート輝度補正画像保存部2327に格納する。また、輝度補正部2316は、相関値寄与率マップと探索画像エッジ画像保存部2324に格納されたエッジ画像から各候補毎の探索画像輝度補正画像を作成して探索画像輝度補正画像保存部2328に格納する。
局所的マッチング部2317は、テンプレート輝度補正画像をテンプレートとして、探索画像輝度補正画像に対して候補位置の周辺で局所的にテンプレート・マッチングを行なう。
最上位候補抽出部2318は、局所的テンプレート・マッチングの結果、最も上位にある候補を最上位候補として最上位候補保存部2329に格納する。
最上位候補ソーティング部2319は、各候補毎に得られたその周囲での局所的な最上位候補を全てソートしなおして最終的なマッチング位置を決定する。
<処理部の動作内容>
図24は、重心位置フィルタを用いたテンプレート・マッチング処理の概要を説明するためのフローチャートである。なお、重心位置フィルタを用いる場合は、第1の実施形態エッジの膨張処理(図7参照)は必要ない。
まず、エッジ画像生成部2311が、テンプレート及び探索画像のそれぞれのエッジ画像を作成する(ステップS2401)。エッジ画像はソーベルやラプラシアンなどのエッジ抽出機能を持ったフィルタを施すことで得られる。
次に、テンプレート・マッチング部2312が、膨張処理が施されたテンプレート画像と探索画像との間でマッチング処理を実行する(ステップS2402)。このとき、複数の位置において、相関値(類似度を示す)が得られる。そして、重心距離フィルタ処理部2313が、正規化相関マップに対して重心距離フィルタ処理を実行する(ステップS2403)。
続いて、上位候補抽出部2314が、重心距離フィルタ処理結果に基づいて、複数得られたマッチング位置から所定値以上の相関値を有する位置を上位候補として抽出する(ステップS2404)。
相関寄与率マップ生成部2315が、各上位候補位置において、(即ち各候補位置に対して複数の)相関値寄与率マップを生成する(ステップS2405)。相関値寄与率マップの生成の詳細については第1の実施形態で述べたとおりである。なお、エッジを太らせていないため候補位置では相関値寄与率マップは有効な情報を含んでいない可能性がある。そのためパターン歪み量を考慮した範囲の候補位置の周辺で相関値寄与率マップを作成する必要がある。
そして、輝度補正部2316が、相関値寄与率マップに基づいてテンプレート及び探索画像の輝度補正を行い、局所的マッチング部2317が、輝度補正されたテンプレートと輝度補正された探索画像との間でパターンマッチングを実行する(ステップS2406)。
そして、最上位候補抽出部2318が、局所的テンプレート・マッチングの結果、最も上位にある候補を最上位候補とし、最上位候補ソーティング部2319が、各候補毎に得られたその周囲での局所的な最上位候補を全てソートしなおして最終的なマッチング位置を決定する(ステップS2407)。
以下、主に、重心距離フィルタ処理、及び輝度補正マッチングの処理の詳細について説明する。テンプレート・マッチング処理や相関値寄与率マップ生成処理については、第1の実施形態と同様なので、ここでは説明を省略する。
<重心距離フィルタ処理>
図25は重心距離フィルタの概念について説明するための図である。図2においてパターンに歪みがある場合はエッジを太らせることである程度の歪みが許容できると説明したが、この重心距離フィルタを使うとエッジを太らせずに歪みを許容することができる。
重心距離フィルタは注目画素を中心に所定のカーネル(フィルタ演算に関与する範囲)を持っており、このカーネル内で重心を計算する。注目画素と重心間の距離に応じた値を注目画素の新たな画素値とする。距離が長いほど画素値が小さくなる。距離が0の時はカーネル内の画素値の総和に比例した値となり、一般にはその値に距離が長くなるに従って小さくなる係数を掛けた値となる。
図26は距離とその係数の関係の一例を示している。注目画素の位置から見て相対のx座標、y座標がともに0の位置に重心が存在した場合係数は1で、重心が(0,0)から遠ざかるほど係数は小さくなり最小は0である。
図27は、図28に示す三角形のテンプレートと探索画像のエッジ画像において、エッジを太らせなかった場合の正規化相関マップ(図27A)と、正規化相関マップに重心距離フィルタを施したもの(図27B)を示している。図27Aでは三角形の中央にマッチング位置が来ないが、図27Bでは最大値位置が三角形の中央にあり歪みの中心にマッチさせることが出来る。更に、エッジを太らせる場合はどれ位太らせたら良いかが明確ではなかったが、重心距離フィルタを使う場合はパターンの歪み量の最大値をカーネルサイズにすればよい。
<輝度補正マッチング処理>
図29は、各候補位置における輝度補正マッチング処理の概要を説明するためのフローチャートである。
まず、輝度補正部2316が、各候補位置において、テンプレート及び探索画像のそれぞれについて、エッジが象用補正強度画像を作成する(ステップS2901)。つまり、各候補位置に関しては、上述のように、その周辺で作成した複数の相関値寄与率マップ群が存在する。これらの相関値寄与率マップ群からテンプレート、或いは探索画像のエッジ画像用補正強度画像が生成される。
また、輝度補正部2316が、テンプレート及び探索画像のエッジ画像用補正強度画像を基に輝度補正を行う(ステップS2902)。この処理は、図18の場合の輝度補正におけるエッジを太らせる処理と同様の処理である。なお、詳細については後述する。
続いて、局所的マッチング処理部2317が、各候補位置周辺での局所的なマッチングを行う(ステップS2903)。これも図18の局所的マッチング処理と同様の処理である。
そして、重心距離フィルタ処理部2313が、局所的マッチング処理によって得られた正規化相関マップに対して重心距離フィルタ処理を施す(ステップS2904)。最後に、最上位候補抽出部2318が、最上位候補の抽出し、ソーティングする(ステップS2905)。この処理も図18の場合と同様である。
以下、図30乃至32を用いて、相関値寄与率マップ群から補正強度画像を作成する方法について説明する。
図30及び31は、大きなリング状のエッジと小さなリング状のエッジをテンプレートと探索画像に見立てて、第一候補位置の周辺で相対位置をずらしながら作成した相関値寄与率マップを示す図である。図中、黒い部分は、テンプレート及び探索画像の双方においてエッジの部分を示している。第一候補位置中心ではエッジ同士の重なりがなく相関値寄与率マップは高い値を持たない。しかし、パターン歪みの範囲で両者の相対位置をずらしていくと、エッジ同士の重なりが現れる。図30では相対位置をずらしていく際に、常に大きなリングが中央に来るように表示されている。即ち、テンプレートの位置を相関値寄与率マップの中心に固定した座標系で表示している。一方、図31では、常に小さいリングが中央に来るように表示している。即ち、探索画像の位置を相関値寄与率マップの中心に固定した座標系で表示している。
図30では、各相関値寄与率マップを重ね合わせる(対応画素の画素値を合計する)と図30Bのような大きなリングが現れる。これがテンプレートの補正強度画像である。また、図31では、各相関値寄与率マップを重ね合わせると図31Bのような小さなリングが現れる。これが探索画像の補正強度画像である。
このように、テンプレートと相関値寄与率マップの相対位置を固定して重ね合わせるとテンプレート用の補正強度画像が生成され、探索画像と相関値寄与率マップの相対位置を固定して重ね合わせると探索画像用の補正強度画像が生成される。エッジを太らせる場合はテンプレートと探索画像でパターン歪みが発生している場合でも1つの相関値寄与率マップを基に輝度補正しなければならなかったが、重心距離フィルタを使う場合はテンプレートと探索画像の夫々に対して補正強度画像が作成できるため精度の高い輝度補正が可能となる。
図32及び33は共に、小さな三角形のエッジがあるテンプレートと大きい三角形のエッジがある探索画像の第一候補位置での相関値寄与率マップ群を示している。図32及び33では、共に探索画像の座標を固定しているため、図32のように各画像を重ね合わせると大きな三角形の探索画像用の補正強度画像が得られる。一方、図33は探索画像の座標を固定して、各相関値寄与率マップ内の画素値を足し合わせた値をテンプレートの座標毎に並べたものを網掛けのグレーの三角形で模式的に表している。
このように、相関値寄与率マップ内座標を固定して、4次元画像(2次元の画像が2次元に並んでいるので4次元)である相関値寄与率マップ群の画素値をプロジェクションしたものが補正強度画像である。また、テンプレートの相対位置を固定して、相関値寄与率マップ群の画素値をプロジェクションしたものが正規化相関マップ(値は異なるが形状は似ている)となる。
なお、ここで、正規化相関は以下のように計算される。
Figure 2009258968
(3)まとめ
本発明の第1の実施形態では、エッジをエッジ膨張処理によって太らせたエッジ画像同士のテンプレート・マッチングで得られたマッチング位置の上位候補の各位置において相関値寄与率マップを作成し、相関値寄与率マップに基づいて輝度補正し、各候補位置周辺で再度局所的にマッチングを行い、新たに得られた候補位置と相関値によって候補をソートし直す。このように、相関値寄与率マップを用いて輝度補正することにより、パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、統一的に的確なマッチング位置を得ることができる。
また、第2の実施形態では、太らせない(エッジ膨張処理しない)エッジ画像同士のテンプレート・マッチングで得られた正規化相関マップに重心距離フィルタを施して得られた上位候補の各位置周辺における相関値寄与率マップを作成し、これらの相関値寄与率マップから補正強度画像を作成し、補正強度画像に基づいて輝度補正し、各候補位置周辺で再度局所的にマッチングを行い、新たに得られた候補位置と相関値によって候補をソートし直す。これにより、第1の実施形態同様、パターン形状に歪みがあり、エッジ強度にバラつきがある画像においても、統一的に的確なマッチング位置を得ることができる。
なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
また、実施の形態の機能を実現するソフトウェアのプログラムコードをネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
走査式電子顕微鏡におけるテンプレート・マッチングを説明するための図である。 テンプレートと探索画像が互いに半径が異なるリング状のホワイトバンドの画像であった場合と、夫々のホワイトバンドを太らせた場合のテンプレート・マッチングの様子を示す図である。 強いエッジと弱いエッジが混在している半導体ウェハ上のパターンを示す図である。 弱いエッジを強調する輝度補正がテンプレート・マッチングに悪影響を及ぼす例を示す図である。 本発明の第1の実施形態による検査装置の概略構成を示す図である。 各候補に関し、各保存部で格納するデータの種類を示す図である。 第1の実施形態による検査装置の動作の概要を説明するためのフローチャートである。 テンプレート・マッチングを実行する前の前処理を説明するための図である。 テンプレート・マッチングにおける、探索画像とテンプレート(参照画像)を示す図である。 正規化相関マップからマッチング位置を決定する例を示す図である。 テンプレートが探索画像より小さくテンプレート全体のサイズで正規化相関を計算する場合の、正規化相関マップ領域と相関値寄与率マップの大きさを示す図である。 テンプレートと探索画像のサイズが同じようなときにテンプレートと探索画像が重なっている部分でのみ正規化相関を計算する場合の、正規化相関マップ領域と相関値寄与率マップの大きさ示す図である。 テンプレートエッジ画像と探索画像エッジ画像で共通の(或いは類似した)パターンを抽出する原理を示す図である。 2値画像の相関値寄与率マップの作成例を示す図である。 相関値寄与率マップが2値画像である場合のノイズ除去について示す図である。 グレースケールの相関値寄与率マップの作成例を示す図である。 相関値寄与率マップがグレースケールの場合のノイズ除去について示す図である。 各候補位置での輝度補正マッチング処理を説明するための図である。 相関値寄与率マップが2値画像の場合の輝度補正について説明するためのフローチャートである。 輝度補正の例を示す図である。 相関値寄与率マップがグレースケールの場合の輝度補正について説明するためのフローチャートである。 輝度補正の例を示す図である。 本発明の第2の実施形態による検査装置の概略構成を示す図である。 重心位置フィルタを用いたテンプレート・マッチング処理の概要を説明するためのフローチャートである。 重心距離フィルタの概念について説明するための図である。 重心距離フィルタにおける距離とその係数の関係の一例を示す図である。 三角形のテンプレートと探索画像のエッジ画像において、エッジを太らせなかった場合の正規化相関マップ(図27A)と、正規化相関マップに重心距離フィルタを施したもの(図27B)を示す図である。 三角形のテンプレートと探索画像のエッジ画像を示す図である。 各候補位置における輝度補正マッチング処理の概要を説明するためのフローチャートである。 大きなリング状のエッジと小さなリング状のエッジをテンプレートと探索画像に見立てて、第一候補位置の周辺で相対位置をずらしながら作成した相関値寄与率マップ(1)を示す図である。 大きなリング状のエッジと小さなリング状のエッジをテンプレートと探索画像に見立てて、第一候補位置の周辺で相対位置をずらしながら作成した相関値寄与率マップ(2)を示す図である。 小さな三角形のエッジがあるテンプレートと大きい三角形のエッジがある探索画像の第一候補位置での相関値寄与率マップ群(1)を示す図である。 小さな三角形のエッジがあるテンプレートと大きい三角形のエッジがある探索画像の第一候補位置での相関値寄与率マップ群(2)を示す図である。
符号の説明
50・・・検査装置、51・・・処理部、52・・・保存部、53・・・RAM、54・・・ROM、55・・・表示装置、230・・・検査装置、231・・・処理部、232・・・保存部、233・・・RAM、234・・・ROM、235・・・表示装置

Claims (8)

  1. テンプレート及び探索画像を取得し、その探索画像に対してテンプレート・マッチングを実行する画像検査装置であって、
    前記テンプレート及び前記探索画像のエッジ画像を生成するエッジ画像生成部と、
    前記テンプレート及び前記探索画像の前記エッジ画像を用いて、テンプレート・マッチングを実行するテンプレート・マッチング処理部と、
    前記テンプレート・マッチングで得られた複数のマッチング結果の各候補位置において、前記テンプレート及び探索画像の類似度を得るために寄与する部分を示す相関値寄与率マップを生成する相関値寄与率マップ生成部と、
    前記相関値寄与率マップに基づいて、前記テンプレート及び前記探索画像の輝度を補正する輝度補正部と、
    前記輝度補正されたテンプレート及び探索画像を用いて、前記マッチング結果の各候補位置の周辺で再度局所的にマッチングを実行する局所的マッチング処理部と、
    前記局所的マッチング処理により新たに得られた候補位置及び相関値に基づいて、前記複数のマッチング結果をソートするソーティング処理部と、
    を備えることを特徴とする画像検査装置。
  2. さらに、前記テンプレート及び前記探索画像のエッジ画像に対して膨張処理を実行するエッジ膨張処理部を備え、
    前記テンプレート・マッチング処理部は、エッジ膨張処理されたテンプレート及び探索画像を用いて前記テンプレート・マッチングを実行することを特徴とする請求項1に記載の画像検査装置。
  3. 前記相関値寄与率マップ生成部は、前記複数のマッチング結果のうち、正規化相関値が高いものから所定個数選択して前記相関値寄与率マップを生成することを特徴とする請求項1又は2の何れか1項に記載の画像検査装置。
  4. 前記相関値寄与率マップ生成部は、前記テンプレート及び前記探索画像のエッジ画像において画素値を所定値以上有する部分を示す相関値寄与率マップを作成することを特徴とする請求項1乃至3の何れか1項に記載の画像検査装置。
  5. 前記相関値寄与率マップでは、前記類似度に寄与する部分の画素が第1の値を示し、類似度に無関係な部分の画素が前記第1の値とは異なる第2の値を示し、
    前記輝度補正部は、前記相関値寄与率マップの前記第1の値を示す画素値を補正することにより、前記テンプレート及び前記探索画像のエッジ画像における輝度が低いエッジ部分の輝度を上げることを特徴とする請求項4に記載の画像検査装置。
  6. テンプレート及び探索画像を取得し、その探索画像に対してテンプレート・マッチングを実行する画像検査装置であって、
    前記テンプレート及び前記探索画像のエッジ画像を生成するエッジ画像生成部と、
    前記テンプレート及び前記探索画像の前記エッジ画像を用いて、テンプレート・マッチングを実行するテンプレート・マッチング処理部と、
    前記テンプレート・マッチングで得られる正規化相関マップに対して重心距離フィルタ処理を実行する重心距離フィルタ処理部と、
    前記重心距離フィルタ処理結果から、前記テンプレート・マッチングにより得られた複数のマッチング結果において、正規化相関値が所定値より高い候補位置を抽出する上位候補抽出部と、
    前記候補位置において、前記テンプレート及び探索画像の類似度を得るために寄与する部分を示す相関値寄与率マップを生成する相関値寄与率マップ生成部と、
    前記相関値寄与率マップに基づいて、前記テンプレート及び前記探索画像の輝度を補正する輝度補正部と、
    前記輝度補正されたテンプレート及び探索画像を用いて、前記マッチング結果の各候補位置の周辺で再度局所的にマッチングを実行する局所的マッチング処理部と、
    前記局所的マッチング処理により新たに得られた候補位置及び相関値に基づいて、前記複数のマッチング結果をソートするソーティング処理部と、
    を備えることを特徴とする画像検査装置。
  7. 前記相関値寄与率マップ生成部は、前記テンプレート及び前記探索画像のエッジ画像において画素値を所定値以上有する部分を示す相関値寄与率マップを作成することを特徴とする請求項6に記載の画像検査装置。
  8. 前記相関値寄与率マップでは、前記類似度に寄与する部分の画素が第1の値を示し、類似度に無関係な部分の画素が前記第1の値とは異なる第2の値を示し、
    前記輝度補正部は、前記相関値寄与率マップの前記第1の値を示す画素値を補正することにより、前記テンプレート及び前記探索画像のエッジ画像における輝度が低いエッジ部分の輝度を上げることを特徴とする請求項7に記載の画像検査装置。
JP2008106847A 2008-04-16 2008-04-16 画像検査装置 Active JP4926116B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008106847A JP4926116B2 (ja) 2008-04-16 2008-04-16 画像検査装置
US12/920,724 US8498489B2 (en) 2008-04-16 2009-04-16 Image inspection apparatus
PCT/JP2009/057662 WO2009128505A1 (ja) 2008-04-16 2009-04-16 画像検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008106847A JP4926116B2 (ja) 2008-04-16 2008-04-16 画像検査装置

Publications (2)

Publication Number Publication Date
JP2009258968A true JP2009258968A (ja) 2009-11-05
JP4926116B2 JP4926116B2 (ja) 2012-05-09

Family

ID=41199192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008106847A Active JP4926116B2 (ja) 2008-04-16 2008-04-16 画像検査装置

Country Status (3)

Country Link
US (1) US8498489B2 (ja)
JP (1) JP4926116B2 (ja)
WO (1) WO2009128505A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123775A (ja) * 2009-12-11 2011-06-23 Ist Corp 布製品識別装置および布製品把持システム
JP2013061771A (ja) * 2011-09-13 2013-04-04 Glory Ltd 画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置
JP2013093476A (ja) * 2011-10-26 2013-05-16 Disco Abrasive Syst Ltd キーパターン決定方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538163B2 (en) * 2009-10-13 2013-09-17 Sony Corporation Method and system for detecting edges within an image
US8885923B2 (en) * 2010-01-12 2014-11-11 Nec Corporation Feature point selecting system, feature point selecting method and feature point selecting program
DE102010060375A1 (de) * 2010-11-05 2012-05-10 Hseb Dresden Gmbh Inspektionsverfahren
JP5707423B2 (ja) * 2011-01-26 2015-04-30 株式会社日立ハイテクノロジーズ パターンマッチング装置、及びコンピュータープログラム
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
CN103299613B (zh) * 2011-11-17 2017-08-15 松下电器(美国)知识产权公司 图像处理装置、摄像装置及图像处理方法
US8867844B2 (en) * 2012-02-01 2014-10-21 Sharp Laboratories Of America, Inc. Edge based template matching
JP6063315B2 (ja) * 2013-03-26 2017-01-18 富士フイルム株式会社 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法
US9761002B2 (en) * 2013-07-30 2017-09-12 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
JP6511777B2 (ja) * 2014-11-10 2019-05-15 セイコーエプソン株式会社 画像処理装置、画像処理方法およびプログラム
CN105069799B (zh) * 2015-08-13 2017-03-22 深圳市华汉伟业科技有限公司 一种角点定位方法及装置
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
CN105631458B (zh) * 2015-12-22 2018-05-22 广州视源电子科技股份有限公司 一种电子元件样本标注方法及装置
JP6780271B2 (ja) * 2016-03-23 2020-11-04 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP7001494B2 (ja) * 2018-02-26 2022-01-19 株式会社日立ハイテク ウェハ観察装置
WO2020008629A1 (ja) 2018-07-06 2020-01-09 楽天株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132959A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 欠陥検査方法および装置
JP2001148014A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Ind Co Ltd テンプレートパターンの自動決定方法
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
JP2005258940A (ja) * 2004-03-12 2005-09-22 Matsushita Electric Ind Co Ltd 画像認識方法及び画像認識装置
JP2008065458A (ja) * 2006-09-05 2008-03-21 Hitachi High-Technologies Corp 類似度分布を利用したテンプレートマッチング方法を用いた検査装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581762A (en) * 1984-01-19 1986-04-08 Itran Corporation Vision inspection system
JP2585874B2 (ja) * 1991-03-18 1997-02-26 富士通株式会社 カラー画像のエッジ検出方式
JP3083918B2 (ja) * 1992-06-26 2000-09-04 本田技研工業株式会社 画像処理装置
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
JP3438440B2 (ja) * 1995-11-01 2003-08-18 ミノルタ株式会社 画像処理装置
US6298157B1 (en) * 1998-02-27 2001-10-02 Adobe Systems Incorporated Locating and aligning embedded images
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
DE10047211B4 (de) * 2000-09-23 2007-03-22 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat
JP3870044B2 (ja) * 2001-07-25 2007-01-17 株式会社日立製作所 パターン検査方法及びパターン検査装置
US7092584B2 (en) * 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
JP4275345B2 (ja) * 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
JP5276854B2 (ja) * 2008-02-13 2013-08-28 株式会社日立ハイテクノロジーズ パターン生成装置およびパターン形状評価装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132959A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 欠陥検査方法および装置
JP2001148014A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Ind Co Ltd テンプレートパターンの自動決定方法
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
JP2005258940A (ja) * 2004-03-12 2005-09-22 Matsushita Electric Ind Co Ltd 画像認識方法及び画像認識装置
JP2008065458A (ja) * 2006-09-05 2008-03-21 Hitachi High-Technologies Corp 類似度分布を利用したテンプレートマッチング方法を用いた検査装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123775A (ja) * 2009-12-11 2011-06-23 Ist Corp 布製品識別装置および布製品把持システム
JP2013061771A (ja) * 2011-09-13 2013-04-04 Glory Ltd 画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置
JP2013093476A (ja) * 2011-10-26 2013-05-16 Disco Abrasive Syst Ltd キーパターン決定方法

Also Published As

Publication number Publication date
JP4926116B2 (ja) 2012-05-09
US8498489B2 (en) 2013-07-30
WO2009128505A1 (ja) 2009-10-22
US20110110597A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
JP4926116B2 (ja) 画像検査装置
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
US8086041B2 (en) Pattern evaluation method, pattern matching method and computer readable medium
JP6009351B2 (ja) 検査画像内の分類のためのシステム、方法、及びコンピュータプログラム製品
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US7177480B2 (en) Graphic processing method and device
JP2016018359A (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体
JP2007121147A (ja) パターンマッチング装置およびそれを用いた半導体検査システム
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
WO2014129018A1 (ja) 文字認識装置、文字認識方法及び記録媒体
CN114092499A (zh) 一种药盒分割方法
CN111260675A (zh) 一种图像真实边界高精度提取方法及系统
JP5116640B2 (ja) 検出候補の近傍排除処理機能を有する画像処理装置及び画像処理プログラム並びにコンピュータで読み取り可能な記録媒体
US20230065041A1 (en) Geometric pattern matching method and device for performing the method
JP5772675B2 (ja) 濃淡画像のエッジ抽出方法、エッジ抽出装置並びに濃淡画像のエッジ抽出プログラム
CN106023094A (zh) 基于图像的骨组织微观结构修复系统及其修复方法
JP2003141567A (ja) 3次元都市モデル生成装置及び3次元都市モデル生成方法
JP3944034B2 (ja) 区画データ作成方法、装置
CN114494573B (zh) 三维管道模型标注方法、装置、电子设备及存储介质
CN111027521B (zh) 文本处理方法及系统、数据处理设备及存储介质
JP4951591B2 (ja) パターンの消失に対応したマッチング方式及びそれを用いた検査装置
De et al. A new approach to detect and classify graphic primitives in engineering drawings
CN115187744A (zh) 一种基于激光点云的机柜识别方法
De Vectorization of architectural floor plans
JP4747293B2 (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4926116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350