JP2014207110A

JP2014207110A - 観察装置および観察方法

Info

Publication number: JP2014207110A
Application number: JP2013083478A
Authority: JP
Inventors: 中平　健治; Kenji Nakahira; 健治中平; 宮本　敦; Atsushi Miyamoto; 敦宮本; 大博平井; Tomohiro Hirai
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2013-04-12
Filing date: 2013-04-12
Publication date: 2014-10-30
Also published as: US9305343B2; US20140307946A1

Abstract

【課題】荷電粒子顕微鏡により撮像した複数枚の画像に対して適切な統合処理を行うことにより，見た目な良好な統合画像を生成して表示する。【解決手段】複数枚の画像を撮像し，撮像画像に含まれる1個以上のROIを抽出・分類した後，複数枚の撮像画像を統合して表示する。統合の際，ROIの分類結果に応じて統合方法を制御する。【選択図】図１

Description

本発明は，観察装置および観察方法に関する。

荷電粒子顕微鏡は，光学顕微鏡に比べて分解能が非常に高く，被観察対象の微細な構造を鮮明に観察するために広く利用されている。荷電粒子顕微鏡では，荷電粒子ビームを対象試料に照射し，対象試料から放出される，または対象試料を透過する粒子（照射した荷電粒子と同種または別種の荷電粒子，または電磁波，光子）を検出器にて検出することで，対象試料の拡大画像を取得する。

特に，半導体製造プロセスにおいては，半導体ウェハの検査，パターン寸法の計測，パターン形状の計測などの用途として，走査型電子顕微鏡（Scanning Electron Microscope）や走査型イオン顕微鏡（Scanning Ion Microscope），走査型透過電子顕微鏡（Scanning Transmission Electron Microscope）などの荷電粒子顕微鏡が用いられている。これらの用途においては，撮像した画像を用いて，半導体パターンや欠陥の観察，欠陥の検出および発生要因解析，パターンの寸法計測などが行われる。

荷電粒子顕微鏡においては観察や解析等を容易に行うことができる画像を提供することが重要であり，そのためには観察・解析等の対象となる部位（以下，ROI：Region Of Interest）が見やすい画像を表示する必要がある。ROIの例としては，半導体上の欠陥が映っている領域や，観察をしたいパターンが映っている領域などが挙げられる。荷電粒子顕微鏡で撮像した画像には，複数のROIが含まれる場合もある。ROIを見やすくするために，撮像条件，撮像対象，撮像位置などを変えた複数枚の撮像画像を取得する場合も多い。また，検出器には，2次荷電粒子検出器や後方散乱粒子検出器，特定の粒子や光のみを検出する検出器，エネルギーやスピン方向などが特定の範囲内にある粒子を検出する検出器などの複数の種類があり，個々の検出器によって得られる情報が異なる。また検出器の配置位置によっても得られる情報が異なるため，同種または異種の複数の検出器を備えている顕微鏡も多い。複数の検出器があれば，1回の撮像により複数枚の撮像画像を取得することができる。

視認性が高い画像を得るために，複数の撮像画像を統合する方法が提案されている。例えば特許文献１には，「荷電粒子源より放出された荷電粒子線の焦点を変更する手段と、前記試料の荷電粒子線の照射個所で得られる荷電粒子を検出する荷電粒子検出器と、当該荷電粒子検出器から出力される信号の内、前記荷電粒子線が合焦した部分の信号に基づいて前記荷電粒子線源方向から見た試料の２次元像を合成する手段を備えたことを特徴とする荷電粒子線装置」（要約書）が開示されている。
また，特許文献２には，「異なる撮像条件下で試料を撮像して該試料の複数の画像を取得し，この取得した複数の画像についてそれぞれの画像の劣化関数を生成し、取得した複数の画像と生成したそれぞれの画像に対応する劣化関数とを用いて分解能を向上させた画像を生成し、この分解能を向上させた画像を処理」する方法（要約書）が開示されている。

また，ROIの視認性を向上するために撮像画像を統合する方法も提案されている。特許文献３には，「既知の欠陥モードと正常部については照合結果画像７４の比重を高く、そうでない場合には検出画像７１の比重を高くでき、より自然なレビュー画像８２を生成する」（段落００４３）パターン検査装置や、「合成対象とする画像の特徴点同士の対応関係を維持するように合成する技術」であるモーフィング手法により「より検出画像７１の情報を反映した合成画像を実現することができる」パターン検査装置（段落００４４）が開示されている。

特許文献４には、「多層レイヤにおける下層領域やホールパターンの穴底など，試料から十分な信号量が得られにくい領域に対しても高画質である画像を撮像する」ことを目的とした荷電粒子顕微鏡装置を用いた試料の画像撮像方法であって，前記荷電粒子顕微鏡装置の検出器のゲインを第一のゲイン値に設定して前記試料に対して荷電粒子ビームの走査を行い，第一の画像を取得する第一画像取得ステップと，前記検出器のゲインを前記第一のゲイン値とは異なる第二のゲイン値に設定して前記試料に対して荷電粒子ビームの走査を行い，第二の画像を取得する第二画像取得ステップと，前記第一のゲイン値と前記第二のゲイン値を用いて，前記第一の画像と前記第二の画像を合成する画像合成ステップと、を有することを特徴とする画像撮像方法」が開示されている。

特開２００６−１９０６９３号公報特開２０１０−６２１０６号公報再公表ＷＯ２０１０／１０６８３７号公報特開２０１２−２２６８４２号公報

しかし，対象としているROIの見え方がROI毎に大きく異なる場合では，適切な統合の方法が異なることが問題となる。特許文献３で対象としている電子線式パターン検査装置では，ROIとして欠陥のみを対象としており，また電子線式パターン検査装置では倍率の低い画像を撮像して欠陥の検出を行うため，ROIの形状等が大きく異なることはない。特許文献４では，ROIとして暗部のみを対象としている。

一方，例えば，測長SEMや欠陥レビューSEM等の，欠陥を高倍率（例えば10万倍以上）で撮像して測長や観察を行う荷電粒子顕微鏡では，対象としているROIの見え方がROI毎に大きく異なる場合がある。従来の方式である重み付け加算処理やモーフィング手法による画像変形のみを用いて見やすい画像を作成できる場合もあるが，ROIによっては見た目が不自然になるなど逆に見難くなってしまう場合もある。このように，見え方が大きく異なる多様なROIを対象とする場合には，従来とは異なる統合方法が必要とされる。

本発明では，上記のような場合においても見た目が良好な画像を生成して表示する手段を提供する。

本発明では，以下の画像表示方法および前記画像表示方法を搭載した観察装置により前記課題を解決する。

本発明によれば，各々のROIが見やすい画像を提供する観察装置および観察方法を提供することができる。

ROIを抽出・分類して，分類結果に基づいて複数枚の撮像画像を統合するシーケンスの一実施例図である。本発明の一実施形態である荷電粒子顕微鏡の基本構成である。複数枚の撮像画像を統合することの利点と課題を表す一実施例図である。２枚の撮像画像を重み付け加算により統合する例を示す一実施例図である。２枚の撮像画像を重み付け加算以外の方法により統合する例を示す一実施例図である。２枚の撮像画像を統合する，図４，５とは別の例を示す一実施例図である。異なる形状に映った２枚の撮像画像を統合する処理の一実施例図である。倍率の異なる２枚の撮像画像を統合する処理の一実施例図である。 ROIおよびその周辺の領域の形状変形を行いながら統合する処理の一実施例図である。異なる領域を撮像した２枚の画像を統合する処理の一実施例図である。２枚の撮像画像に含まれるROIを抽出する一実施例図である。 ROI抽出処理を表す図１１とは異なる一実施例図である。図１のステップ１０３に相当するROI分類処理のフローを示す一実施例図である。 ROI内に存在する複数の対象物の高さ関係を識別する処理の一実施例図である。 ROIが上層パターン領域，下層領域，パターン側壁領域のうち，何れの領域に属するかを識別する処理を表す一実施例図である。分類結果に応じて統合方法を制御する処理を表す一実施例図である。分類結果に応じて統合方法を制御する処理を表す一実施例図である。分類結果毎の統合方法を設定するためのユーザインターフェイスを表す一実施例図である。欠陥の高倍画像を自動で撮像してその統合画像を求めるシーケンスの一実施例図である。図６における明度調整処理の詳細を表す一実施例図である。

本発明は，荷電粒子を試料に照射して画像を取得する走査荷電粒子顕微鏡に係り，特に視認性の高い画像を表示するための画像表示方法およびその装置を提供することにある。以下，本発明に係る実施の形態について図面を用いて説明する。

図１は，ROIを抽出・分類して，分類結果に基づいて複数枚の撮像画像を統合するシーケンスの一実施例図である。まず，ステップ１０１で，複数枚の撮像画像を取得する。次に，ステップ１０２で，前記撮像画像からROIを抽出し，ステップ１０３でROIを分類する。次に，ステップ１０４で，前記ROIの分類結果に基づいて，複数枚の撮像画像を統合する，すなわち，複数枚の撮像画像における同一画素またはその近傍領域の画素の情報を用いて，画素毎に明度値を求めた1枚の画像（統合画像）を生成する。最後に，ステップ１０５で，統合画像を表示する。

対象としているROIの見え方は，ROI毎に大きく異なる場合が多い。これに対し，撮像画像に含まれるROIを分類した後，その結果に応じて統合の方法を制御することにより，各々のROIに適した方法で統合することができ，常にROIが見やすい画像を提供することが可能になる。

図２は，本発明の一実施形態である荷電粒子顕微鏡の基本構成である。荷電粒子顕微鏡は，例えば，荷電粒子画像取得装置２０１，入出力部２２１，制御部２２２，処理部２２３，記憶部２２４，ROI抽出部２２５，ROI分類部２２６，および画像統合部２２７等から構成される。荷電粒子画像取得装置２０１では，荷電粒子銃２０２から荷電粒子ビーム２０３を発生し，前記荷電粒子ビーム２０３をコンデンサレンズ２０４や対物レンズ２０５に通すことにより試料２０６の表面に集束する。次に，試料２０６から発生する粒子を検出器２０８で検出することにより，画像を取得する。画像は，記憶部２２４に保存される。検出器２０８は複数個備わっていても良く，さらに，電子を検出する検出器と電磁波を検出する検出器のように異なる粒子を検出する検出器であったり，エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であったり，２次荷電粒子検出器と後方散乱荷電粒子検出器のように異なる性質の粒子を検出する検出器であっても良い。同じ性質の粒子を検出する検出器が異なる配置位置に複数備わっていても良い。検出器が複数個備わっている場合には，通常１回の撮像で，画像を複数枚取得することができる。撮像条件を変えて２回以上撮像をして，複数枚の画像を取得しても良い。試料２０６はステージ２０７に接しており，ステージ２０７を移動することにより，試料の任意の位置における画像の取得が可能である。また，ビーム偏向器２０９で荷電粒子ビーム２０３の向きを２次元的に変えることにより，荷電粒子ビームを試料上に走査することができる。

入出力部２２１では，画像撮像位置や撮像条件の入力，統合後の画像の出力などを行う。制御部２２２では，撮像装置の制御として，荷電粒子銃２０２等に印加する電圧や，コンデンサレンズ２０４および対物レンズ２０５の焦点位置の調整，ステージ２０７の移動等を制御する。また，制御部２２２は，入出力部２２１，処理部２２３，記憶部２２４，ROI抽出部２２５，ROI分類部２２６の制御も行う。処理部２２３では，各種の処理，例えば，荷電粒子ビーム２０３の焦点を試料２０６の表面に合わせるために必要な自動焦点合わせに関する処理などを行う。記憶部２２４では，複数枚の撮像画像，統合後の画像，ROI抽出結果，ROI分類結果，各種処理パラメータ等を保存する。ROI抽出部２２５では，取得した複数枚の撮像画像からROIを抽出する。ROI分類部２２６では，抽出したROIの各々に対して分類を行う。画像統合部２２７では，複数枚の撮像画像を統合して１枚の統合後の画像を生成する。この際，ROIの分類結果に基づいて，統合方法を制御する。

図３は，複数枚の撮像画像を統合することの利点および課題を表す一実施例図である。統合画像３０３は，２個の２次荷電粒子検出器で取得した画像（２次荷電粒子像）３０１と３０２を統合して得られた画像の例である。画像３０１と画像３０２は，試料上の同一の位置を撮像して得られたものとする。これらの撮像画像は，異なる位置に配置した複数個の検出器を用いて１回のスキャンで得られた画像であっても良いし，撮像条件を変えて撮像した画像であっても良い。画像３０１には，欠陥３１１とパターン３１４が映っているが，欠陥３１１はコントラストが低い（図３において，点線で囲まれた領域はコントラストが低いことを表す）。画像３０２には，３１１と同じ欠陥が３１２に映っているが，そのコントラストは画像３０１に比べて高い。一方，３１４と同じパターンが３１５に映っており，そのコントラストは低い。これらの撮像画像を統合して，欠陥とパターンのコントラストが共に高い画像を生成したい。このためには，画像３０１と３０２を重み付け加算する方法が適している。具体的には，画像３０２から欠陥領域３１２を抽出した後，欠陥領域に対しては画像３０２の重みを大きくして，それ以外の領域に対しては画像３０１の重みを大きくして重み付け加算を行えば良い。

統合画像３０６は，後方散乱荷電粒子検出器で取得した陰影が付いた画像（陰影像）３０４と２次荷電粒子像３０５を統合して得られた画像の例である。画像３０４と画像３０５は，試料上の同一の位置を撮像して得られたものである。２次荷電粒子像３０５には，パターン３２２と，スクラッチ欠陥（試料表面に生じた傷）３２５が映っているが，スクラッチ欠陥３２５はコントラストが低く，視認性が悪い。これに対し，スクラッチ欠陥が明瞭に映った統合画像を生成したい。陰影像３０４ではスクラッチ欠陥が明瞭に見えるため，この情報を統合すれば良い。しかし，統合画像３０３を生成したときと同様の方法，すなわち，スクラッチ欠陥領域３２４を抽出して，その領域では画像３０４の重みを大きくし，それ以外の領域では画像３０５の重みを大きくした重み付け加算による統合では，適切な画像は生成できない。このような重み付け加算により求めた統合画像の例を３０７に示す。パターン３２７およびスクラッチ欠陥３２８は共に明瞭に見えているが，スクラッチ欠陥領域内ではパターン３２７が映っていないため，不自然な画像になってしまう。統合画像３０６のように，スクラッチ欠陥領域内にも，パターンが映っているような画像を生成するためには，単純な重み付け加算ではない統合方法を用いる必要がある。以上を鑑みると，撮像画像３０１，３０２の場合においては，重み付け加算による統合を行い，撮像画像３０４，３０５の場合においては，重み付け加算以外の統合を行うことが望ましい。本発明では，ROI（この例では欠陥領域）の種類に応じて適した統合方法を選択することにより，良好な統合画像を生成する。

次に，図４〜図１０を用いて，図１のステップ１０４に相当する統合処理について説明する。ROIの種類毎に適切な統合処理が異なることについて具体例を用いて示すことで，ROIの分類結果に基づいて統合処理を制御することができれば画質が良好な画像が得られることを示す。ROIの分類方法については図１３〜図１５，統合処理の制御方法については図１６〜図１８を用いて後述する。図４〜図１０では，予め，ステップ１０１〜１０３の処理である，複数枚の画像を取得して，ROIを抽出・分類する処理は施してあるものとする。

図４は，２枚の撮像画像を重み付け加算により統合する例を示す一実施例図である。画像４０１および４０２は，図３における画像３０１および３０２と同じである。統合の際，ROI以外の領域において主に用いる画像（以下，ベース画像と呼ぶ）を定める。この例では，画像４０１をベース画像とする。また，この例では，欠陥４１２が映っている領域をROIとする。以下，ベース画像には画像の周囲を太枠で示し，またROIも同様に周囲を太枠で示す。ROIの分類結果として，例えばパターン上の異物という結果を得る。ROIは，画像４０１ではコントラストが低く，画像４０２では高い。そこで統合処理４０４では，まず統合比率算出処理４０５にて，ROIにおいて画像４０２の重みを大きくし，ROI以外の領域において画像４０１の重みを大きくするように重みを設定し，荷重和処理４０６により重み付け加算を行う。これにより，統合画像４０３を得る。

なお，統合画像は複数枚あっても良い。例えば，画像４０１をベースとして生成した統合画像と，画像４０２をベースとして生成した統合画像を出力しても良い。また，撮像画像は３枚以上あっても良い。荷重和処理４０６では重み付け加算を行う例を示したが，重み付け加算に限らない。例えば，２枚の画像の明度値に対してある関数f（例えば対数関数）を適用した後で重み付け加算を計算し，最後にfの逆関数を適用するような計算方法でも良い。結合後の画像は，グレースケールの画像である必要はなく，カラー画像であっても良い。例えばROIは色を付けて見やすく表示し，ROI以外の領域はグレースケール表示を行なっても良い。この場合には，統合比率算出処理４０５において，カラー画像を表す各成分（例えばRed，Green，Blue）についてそれぞれ重みを計算し，荷重和処理４０６では成分毎に重み付け加算処理を行えば良い。

図５は，２枚の撮像画像を重み付け加算以外の方法により統合する例を示す一実施例図である。画像５０１および５０２は，図３における画像３０４および３０５と同じである。ベース画像は５０２とする。すなわち，２次荷電粒子像５０２に対して，陰影像５０１のスクラッチ欠陥５１２を統合する。ROIの分類結果として，例えば凹凸欠陥といった結果を得る。統合処理５０９では，まず陰影像５０１から，パターン５１１等に関する情報を取り除きスクラッチ欠陥５１２を表す凹凸情報のみを抽出する。この抽出を行うため，まず欠陥がない画像を推定する処理５０３を行い，画像５０４のようなパターン５１３の情報を抽出する。この処理では，例えば２次荷電粒子像５０２を用いてパターン情報を抽出しても良いし，欠陥を含まない他の場所を撮像した画像や，設計データとの比較を用いて抽出しても良い。ROI内の画素を削除した後，インペインティングなどの技術を用いて推定を行なっても良い。次に，ROI差分情報を抽出する処理５０５にて，陰影像５０１と画像５０４の差分を計算することにより，５１４のようにスクラッチ欠陥を表す凹凸情報のみが映った画像５０６を得る。その後，荷重和処理５０７により，２次荷電粒子像５０２と画像５０６との重み付け加算を行うことで，統合画像５０８を生成する。画像５０８では，パターン５１５の上に，ROIの凹凸情報５１６のみが重畳されており，自然な統合ができている。図４の例で示した重み付け加算による統合方法と，図５の例で示した統合方法を使い分けるためには，欠陥４１２のように不透明な欠陥か，欠陥５１２のように欠陥の下側にあるパターンが映った透明な欠陥かを判別できるような分類を行えば良い。なお，荷重和処理５０７は，図４における統合比率算出処理４０５と荷重和処理４０６を併せた処理に対応している。以降，説明の簡略化のために荷重和処理には統合比率算出処理が含まれているものとする。

図５の画像５０１および５０２は，例えばエネルギーが高い粒子および低い粒子を検出して得られた画像であっても良い。検出する粒子のエネルギーが異なれば，その粒子に含まれる情報は変わるため，画像も大きく変わる場合がある。または，異なる種類の粒子を検出した画像であっても良い。

図６は，２枚の撮像画像を統合する，図４，図５とは別の例を示す一実施例図である。陰影像６０１および２次荷電粒子像６０２の２枚の画像を処理６０４により統合し，画像６０３を得る。ROIの分類結果として，例えば影領域にある明度が低い欠陥といった結果を得る。画像６０１では，パターン６１１が映っている。領域６１２はパターンの影の部分に対応しており，影ではない類似領域に比べて明度値が低い。一方，画像６０２では，画像６０１の影の領域内にあたる位置に，ROIである欠陥６１３が映っており，さらに欠陥の明度値は周囲の領域に比べて低い。画像６０２ではパターンの影は見えない。２枚の画像を統合したいが，明暗関係が反転すると一般に不自然な画像に見える。そこで，明暗関係を維持した統合を行うために，まず画像６０１，６０２の各々について明度調整処理６０５を行った後，荷重和処理６０７を行う。明度調整処理６０５では，画像６０１と６０２の両方の情報に基づいて，各々の画像の明度を調整する。荷重和の前に明度調整を行うことにより，画像６０３では，周囲の領域より明度値が低い影の部分６１４を残しつつ，さらに欠陥６１５の明度値がより低くなるように全体の明度バランスを調整する。単純な重み付け加算のみによる統合では，高いコントラストを維持したまま明暗関係を保つことは一般に不可能であるが，明度調整処理と組み合わせることにより，これを可能とする。

図２０は図６における明度調整処理６０５の詳細を表す一実施例図である。図６と同一の画像または処理については，図６と同じ番号で示してある。以下，同一の画像や処理等を表す場合には同一の番号を振って示すものとする。グラフ２００１および２００２は，それぞれ画像６０１および６０２の線分ＡＢにおける明度値である。破線２０１０は，説明のための補助線である。影領域２０１１の明度値は，その右側の領域の明度値に比べて低くなっている。また，２次荷電粒子像のROI２０１２の明度値も，その右側の領域の明度値に比べて低くなっている。２次荷電粒子像の領域２０１３の明度値は，陰影像の同じ領域の明度値に比べて高い。グラフ２００３および２００４は，明度調整処理６０５を行った後の線分ＡＢにおける明度値である。

事前に行うROI分類結果により，ROIは影領域に存在する明度が低い欠陥であることがわかっている。しかし，陰影像の影領域の明度値が低いため，画像６０１の上にそのまま２次荷電粒子像のROIを統合しても十分なコントラストが得られない。そこで，まず明度調整処理６０５では，陰影像の影領域２０１４の明度値が高くなるように調整する。次に，２次荷電粒子像のROI周辺領域２０１７の明度値を，陰影像の同じ領域（すなわち影領域２０１４）の明度値に合わせる。また，ROI２０１５とその周辺領域との明度差を一定に保つために，ROI２０１５の明度値も低くする。さらに，荷重和処理６０７において不自然な結果になることを防ぐために，領域２０１６等の明度値を陰影像の同じ領域の明度値に合わせても良い。グラフ２００５は，統合画像に対する線分ＡＢにおける明度値である。グラフ２００５が示すように，明度調整処理６０５を行うことにより，ROIおよびその周辺領域のコントラストを維持した上で，ROI２０１８の明度値がその周辺の明度値に比べて低くなるような統合画像を得ることができる。

画像の各領域の明度値は，複数の撮像画像の間で大きく異なる場合がある。例えば，異なる種類の検出器を用いた場合は，各々の検出器にて検出している粒子の種類や特徴が異なるため，明度値は一般に大きく異なる。また，検出器の配置位置によっても，各検出器に到達する粒子の個数が変化するため明度値は異なる。このような複数の撮像画像を統合する際，重み付け加算では明暗が逆転するため不自然に見える場合がある。これに対し，本発明では，明度調整を行うことによりROIとROIの周辺領域との明暗関係を保存して統合する。これにより，明暗の逆転を抑えた上での統合を可能とする。

図７は，異なる形状に映った２枚の撮像画像を統合する処理の一実施例図である。画像７０１および７０２の２枚の画像を処理７０４により統合し，画像７０３を得る。被撮像物は異物を含む多層パターンである。例えば，画像７０１は陰影像であり，画像７０２は２次荷電粒子像である。ROIの分類結果として，例えば７１２のROIは上層領域の欠陥，７１３のROIは下層領域といった結果を得る。画像７０１では，上層パターン７１１および欠陥７１２が鮮明に映っているが，下層では十分なコントラストが得られていない。一方，画像７０２では，下層領域７１３が鮮明に映っているが，上層パターンや欠陥の視認性は悪い。陰影像では下層領域においては２次荷電粒子像に比べて十分な数の荷電粒子を検出できずコントラストが低くなる傾向があるため，下層領域は２次荷電粒子像のほうが視認性が高い場合が多い。画像７０１に対して，画像７０２の下層領域の領域を統合したい。しかし，画像７０１と画像７０２では，下層領域の幅が異なっており，画像７０１のほうが幅が狭い。そこで，まず画像７０１と画像７０２を用いて変形量算出処理７０８を行う。変形量は，画素毎または領域毎に算出する。次に，画像７０２に対して形状変形処理７０５を行い，下層領域の幅を画像７０１に合わせた画像７０７を生成する。その後，画像７０１と７０７との荷重和処理７０６により統合画像７０３を生成する。変形量算出処理７０８および形状変形処理７０５では，上層パターンと下層領域の境界のみでなく，下層領域と欠陥７１２の境界においても繋ぎ目が自然になるように処理を行う。なお，本実施例では画像７０２に対して形状変形を行なって下層領域の幅を画像７０１に合わせたが，画像７０１に対して形状変形を行なって下層領域の幅を画像７０２に合わせても良い。

画像７０１と７０２の例のように，複数枚の撮像画像の間には画像歪みのため，画素毎に映っているものが異なることがある。パターンの境界部において，画像７０１では上層パターンの情報が支配的であり，画像７０２では下層領域の情報が支配的であるため，下層領域の幅が異なって見える。このため，形状を適切に変形しなければ，画像を統合した際に，その境界が不連続になるなどの不具合が発生する。このため，場合によってはROIのみでなくその周辺領域も変形する必要がある。これに対し，画像歪みのある撮像画像の場合にも自然に統合を行うことができる。

図８は，倍率の異なる２枚の撮像画像を統合する処理の一実施例図である。相対的に高い倍率で撮像した画像８０１に対して，処理８０４により，相対的に低い倍率で撮像した画像８０２の欠陥８１２を統合し，画像８０３を得ることを考える。まず，拡大/縮小処理８０５により，後段の統合において必要となるROIまたはその周辺の領域を拡大または縮小する。拡大率は，画像８０１と８０２の撮像倍率から計算できる。または，両画像に映っているもの，例えばパターン８１３とパターン８１４，または欠陥８１１と欠陥８１２のサイズの比から計算しても良い。その後，荷重和処理８０７により，画像８０１と拡大または縮小した画像８０６との重み付け加算を行うことで，画像８０１と同じ倍率の画像８０３を生成する。

本実施例では，画像８０１の倍率に合わせた画像８０３を生成したが，画像８０１および画像８０２のどちらとも異なる倍率の画像を生成しても良い。例えば，画像８０１よりも高い倍率を持つ画像を生成するには，画像８０１，８０２に対してそれぞれ対応する拡大率で拡大処理を行った後に，重み付け加算を行えば良い。

図９は，ROIおよびその周辺の領域の形状変形を行いながら統合する処理の一実施例図である。画像９０１はチルトさせずに撮像した画像，画像９０２はチルト画像である。欠陥９１１がパターン９１２の側壁部９１３に存在しており，画像９０１では欠陥が見辛い。チルト画像９０２では，側壁部９１５が画像上の広い領域に対応しており，欠陥９１４の視認性は画像９０１に比べて良い。この２枚の画像を処理９０４により統合して，欠陥９１６が明瞭に見える画像９０３を作成する。ROIの分類結果として，例えば側壁部にある異物といった結果を得る。画像９０３はチルトをさせない画像９０１と同様の見た目になるように，画像９０１をベース画像とする。統合処理９０４では，まず形状変形処理９０５および９０６により画像９０１および９０２の各々について形状変形を行った後，荷重和処理９０９を行う。画像９０１では側壁領域が狭すぎるため，画像９０２の側壁部のサイズを画像９０１に合わせてから重み付け加算を行うような統合方法では，欠陥９１４が鮮明な画像を生成することは困難である。このため，形状変形処理を画像９０１に対しても行い，側壁領域を広げている。画像９０７，９０８は，それぞれ，形状変形処理９０５，９０６の出力である。画像９０７では，画像９０１に対して側壁部９１８の領域が広がり，欠陥９１７のサイズも大きくなっている。ただし，画像９０７は画像９０１から画像処理により作成したものであるため，欠陥部の画質は悪い。そこで，画像９０８との重み付け加算により欠陥の画質を高める。形状変形処理９０６では，画像９０８の側壁部９２０および欠陥９１９の位置および領域を画像９０７に合わせるように形状変形を行う。なお，画像９０１と９０２では位置ずれが発生する場合も多い。このため，少なくとも片方の画像について前処理として位置ずれ補正を行なっても良い。

チルトをさせない画像とチルト画像を統合する場合は，図８の実施例図と同様に形状を適切に変形しなければ，統合画像において繋ぎ目が不連続になるなどの不具合が発生する。これに対し，本実施例のようにROIとその周辺の領域について形状変形を行うことにより自然に統合を行うことができる。

チルトをさせない画像とチルト画像とを統合することは，分解能の観点においても利点がある。焦点深度に比べて高さのある試料を撮像すると，全ての位置で焦点が合った撮像画像が得られなくなり，ある位置では分解能の悪い画像になってしまう。チルト画像では，試料を斜め方向から撮像するためにチルト角が大きいほど試料が高さを持つことになり，全ての位置で焦点が合った分解能の高い画像が得られにくくなる。そこで，ROIにおいてはチルト画像を用い，それ以外の領域ではチルトをさせない画像を用いるように画像を統合することにより，ROIの視認性が良好であり，かつそれ以外の領域でも分解能が高い画像を生成することができる。

図１０は，異なる領域を撮像した２枚の画像を統合する処理の一実施例図である。画像１００２は欠陥を含む領域を撮像した画像である。画像１００１は画像１００２と同様のパターンを含む，画像１００２とは異なる領域を撮像した画像である。ROIの分類結果として，例えばパターン上の異物といった結果を得る。画像１００１は，画像１００２とは異なる撮像条件により取得しており，ノイズ量が相対的に少ないものとする。画像１００２のROI以外の領域で見られる斑点状の模様はノイズが多く重畳していることを表す。画像１００１は，例えば半導体ウェハ内の他のチップにおける撮像画像であっても良いし，同一チップにおける撮像画像であっても良い。同様の形状のパターンを複数枚撮像して加算平均を取ることによりノイズ量を低減した画像（ゴールデン画像）であっても良い。画像１００１，１００２を処理１００４により統合して，ROIを含むノイズ量が少ない画像１００３を生成する。画像１００１と１００２には対応するパターンが映ってはいるが，異なる領域を撮像しているために位置ずれが発生している。そこで，まず位置合わせ処理１００５を行うことで画像１００２の位置を画像１００１に合うように補正する。その後，荷重和処理１００６を行う。荷重和処理１００６において，ROIでは位置合わせ後の画像１００８に対して大きな重みを設定する。それ以外の領域では，画像１００１および１００２に対して，その画像に含まれるノイズ量に応じて適切な重みを設定することにより，画像１００１よりもノイズ量を抑えた良好な画像を生成できる。例えば，画像１００１および１００２に対応する重みは，各々の画像に含まれるノイズの標準偏差の２乗に反比例するように設定する。

なお，画像１００１は，画像１００２に比べてノイズ量が同等以上であっても良い。この場合にも，ROI以外の領域では画像１００１と１００２の両方の情報を用いることで，よりノイズが少ない画像を得ることができる。

次に，図１１，１２にて，図１のステップ１０２に相当するROI抽出処理について述べる。

図１１は，２枚の撮像画像に含まれるROIを抽出する一実施例図である。撮像画像１１０１，１１０２には，パターンと，楕円状の細長い欠陥１１１１と，円状の欠陥１１１２が映っている。しかし，欠陥１１１１は画像１１０１のほうが鮮明に映っており，欠陥１１１２は画像１１０２のほうが鮮明に映っている。この２枚の画像に対し，ROI抽出処理１１０５を行う。この処理は，ROI種類特定処理１１０６と領域抽出処理１１０７からなる。ROI種類特定処理１１０６では，例えば，ROIを欠陥領域と下層領域であると特定する。このROI種類特定処理は，ユーザ情報，設計データ，工程情報などの情報に基づいて行なっても良い。例えば，ユーザから下層領域のみに興味があるという情報が入力された場合には，ROIは下層領域のみであるとすれば良い。また，光学画像などに基づいてROI種類特定処理を行なっても良い。撮像画像を基に，ROIの種類を特定しても良い。次に，領域抽出処理１１０７を行う。この処理は，例えばROIが欠陥の場合には，同様のパターンが映った別の領域を撮像した画像（参照画像）と撮像画像とを比較することにより行える。ROIが下層領域の場合には，設計データと撮像画像とを比較することや，撮像画像から明度が低い領域を抽出することにより領域抽出を行える。ROI抽出結果の例を画像１１０３および１１０４に示す。画像に含まれている二つの欠陥１１２１，１１２２について，それぞれ鮮明に映っているほうの画像で抽出する。この例のように，統合の対象とする複数の撮像画像において，ROIは複数個存在しても良いし，画像１１０３の欠陥１１２１と画像１１０４の欠陥１１２２のように撮像画像毎に異なる領域を抽出しても良い。

図１２は，ROI抽出処理を表す図１１とは異なる一実施例図である。２枚の撮像画像１２０１および１２０２からROIを抽出する。抽出したいROIは，画像１２０１の欠陥１２１１および画像１２０２の下層領域１２１２であるとする。本実施例では，画像内の線分ＡＢのみについて説明する。グラフ１２０３および１２０４は，それぞれ画像１２０１および１２０２の線分ＡＢにおける明度値である。この情報を用いて領域抽出処理１２０５を行う。グラフ１２０３と１２０４を比較すると，上層領域と下層領域の間のコントラストはグラフ１２０３のほうが高いため，グラフ１２０３を用いたほうが確実に下層を抽出できる。しかし，画像１２１１のほうが画像１２０２に比べて下層領域の幅が狭い。そこで，画像１２０１を用いて下層を粗く抽出した後，画像１２０２を用いて精細な抽出を行う。グラフ１２０６は，線分ＡＢにおけるROI度合いである。図１１ではROI抽出結果は2値の値を持つ画像（すなわち，画素毎にROIか否かのみを表現する画像データ）であったが，図１２の例ではROI度合いは0から1までの連続値をとる。ROI度合いが連続値（または細かな刻み幅の離散値）であったほうが，後段の統合処理において連続的な重みを用いた重み付け加算処理などを行うことができ，ROI境界がより自然に見えるような処理を行うことができる。

図１３は，図１のステップ１０３に相当するROI分類処理のフローを示す一実施例図である。この処理では，撮像画像のセットおよびROI度合いを入力１３０１として，分類結果１３０２を出力する。この例では，ROI度合いが高い領域について，処理１３１１〜１３１７を行うことにより分類する。まず，パターン／欠陥判定処理１３１１により，ROI内に映った対象物がパターンか欠陥かを識別する。その結果，欠陥と判定された場合には，欠陥種類判定処理１３１２を行う。パターン／欠陥の判定は，例えば，同様のパターンが映った別の領域を撮像した画像（参照画像）と撮像画像との差分を計算し，差分が大きければ欠陥，そうでなければパターンと判定することにより行える。または，機械学習などの手法を用いることもできる。欠陥種類の判定方法は，例えば特開２０００−９９７２７号公報に開示されている。また，高さ関係判定処理１３１３により，ROI内とその周辺領域に存在する複数の対象物の高さ関係を識別する。この識別方法の一例は，図１４を用いて後述する。透明度判定１３１４では，ROI内にある対象物の透明度を判定する。例えば図３で示した欠陥３１１は透明度がほぼゼロで，欠陥の下側にある対象物が映らないのに対し，凹凸欠陥３２４は，透明が高い。透明度は，例えば図５の欠陥がない画像を推定する処理５０３等を行い，その結果との比較を行うことで判定することができる。暗部/明部判定処理１３１５では，明度値に応じて下層領域などの暗部であるか，上層パターンなどの明部であるかを判定する。影領域内外判定処理１３１６では，ROIが近傍にある上層パターンの影の領域の内部にあるか否かを判定する。ROI周辺領域との明度差判定処理１３１７では，ROI周辺領域との代表的な明度値の差を計算する。代表的な明度値とは，明度値の平均であっても良いし，明度値の平均と標準偏差から求めるような量であっても良い。

このように，複数の判定基準に基づいてROIを分類することで，ROIの種類毎により適切な統合処理を行うことが可能になる。

処理１３１１〜１３１７の結果は，離散値であっても連続値であっても良い。例えばパターン／欠陥判定処理１３１１は2値を返すが，透明度判定処理１３１３は透明度を表す連続値であっても良い。また，ROI内の各画素または各小領域について判定を行なっても良い。どのような分類を行うかは，対象によって変えることができる。例えば，欠陥を含む試料が対象でないならば，パターン／欠陥判定１３１１は不要であるし，影が存在しない画像ならば，影領域内外判定１３１６は不要である。分類項目は，後述するインターフェイス等を通してユーザから選択できるようにしても良いし，工程毎に自動で切り替えても良い。

図１４は，ROI内に存在する複数の対象物の高さ関係を識別する処理の一実施例図である。２枚の画像１４０１および１４０２の例を用いて説明する。両画像において，欠陥が映った領域１４１２および１４１４をROIとする。ROIには欠陥の他にパターン１４１１および１４１３が含まれている。欠陥は，透明度がほぼゼロの異物である。まず，ROIおよび周辺領域抽出処理１４０３を行う。これは，ROI抽出処理の結果であるROI度合いを用いて，例えばROI度合いが高い領域とその近傍の領域を抽出することにより実現できる。これにより，両画像に対して，それぞれ領域１４１５および領域１４１６が抽出できる。次に，高さ関係を識別する処理１４０５を行う。領域１４１５では，パターン１４１７が欠陥領域の内部では見えないことから，欠陥が上側にあることがわかる。一方，領域１４１６では，パターン１４１８が欠陥領域の内部でも繋がって見えることから，欠陥が下側にあることがわかる。このようにパターンが繋がって見えるか否かの情報に基づいて判定を行うことができる。

このような識別を用いてROIの分類を行うことにより，対象物の高さに関する情報を保存した統合を行うことが可能となるため，自然な画像を提供することができる。例えば，画像１４０１では統合後の画像でも欠陥はパターンの上側に存在するように見えるし，画像１４０２では統合後の画像でも欠陥はパターンの下側に存在するように見えるように，統合処理を行える。

高さ関係の識別には，図１４の例とは異なる方法を用いても良い。例えば，陰影像を利用できるならば，影の付き方を見て高さ関係を求めることができる。または，設計データを用いても高さ関係を明らかにできる。

図１５は，ROIが上層パターン領域（以下，上層領域），下層領域，パターン側壁領域（以下，側壁領域）のうち，何れの領域に属するかを識別する処理を表す一実施例図である。画像１５０１は識別の対象とする画像である。画像内に含まれる３個の欠陥Ａ〜Ｃの領域をROIとする。まず，上層・下層・側壁抽出処理１５０３により，画像を上層領域と下層領域と側壁領域に分離する。この処理は，図１４の場合と同様に，影の付き方や設計データを用いて行うことができる。または，明度値が相対的に高い領域は上層領域，相対的に低い領域は下層領域と識別することもできる。画像１５０１の例では側壁領域はなく，画像１５０２のように上層領域と下層領域に分離される。次に，ROIの上層/下層/側壁識別処理１５０４により，各ROIが何れの領域に属するかを識別する。この処理を行うためには，画像１５０２を用いて各ROIがどの領域に存在するかを求めれば良い。画像１５０１の例では，欠陥Ａは上層領域に属し，欠陥Ｂは下層領域に属する。欠陥Ｃは上層領域と下層領域の両方に属する。

ROIが下層領域や側壁領域に存在する場合，視認性を向上するためには重み付け加算処理よりも高度な処理が必要となる場合が多い。例えば，ROIが下層領域に存在する場合には，試料から放出される荷電粒子が上層パターンに遮蔽されるため検出器に到達しにくくなり，コントラストが低下することも多い。このような画像に対してROIを顕在化するためには，重み付け加算のみでなく明度調整も必要になる。また，ROIが側壁領域に存在する場合には，側壁領域は画像内の小さい領域であるため視認性が良好ではないことが多い。ROIが側壁領域にある場合に，荷電粒子ビームを試料の直上からではなく斜め方向から照射して（すなわち，チルトさせて）画像を撮像する場合もある。このときに，チルトさせずに撮像した画像にチルト画像を統合することにより，ROIの視認性を向上できる。しかし，統合を行う前に，それぞれの画像の画素間の対応付けを行うために適切に伸縮させる必要がある。図１５の実施例のように，ROIが上層領域，下層領域，側壁領域の何れに存在するかを識別すれば，その結果に応じて適切な統合の方法を選択することができる。

図１６は，分類結果に応じて統合方法を制御する処理を表す一実施例図である。この処理では，分類結果１６０１と撮像画像のセット１６０５を入力とし，統合画像１６０７を得る。予め，分類結果と，適用する統合方式との関係をテーブル１６０３等のデータとして持っておく。まず，与えられた分類結果１６０１に応じて，スイッチ１６０４によりどの統合方式を用いるかを決定する。また，分類結果に応じて，パラメータ設定処理１６０２により統合処理に必要なパラメータを決定する。パラメータ設定処理１６０２でも，分類結果と適用するパラメータとの関係を予めテーブル等のデータとして持っておき，分類結果に応じて対応する値を読み込む。パラメータ設定処理１６０２は，撮像画像を用いて行なっても良い。例えば，明度値調整処理を行いたい場合などでは，ある領域の平均明度値が揃うように調整するなど，対象とする撮像画像を用いたほうが適切な値を設定できることも多い。最後に，統合処理１６０６により画像セット１６０５の統合を行う。

分類結果は連続値を含んでいても良い。この場合，スイッチ処理１６０４およびパラメータ設定処理１６０２には，連続値を含む分類結果を用いて，テーブル等のデータのうちどの方式およびパラメータを用いるかを計算するような処理が入っていても良い。なお，常に1個以上のROIが存在するとは限らず，撮像画像によってはROIが存在しない場合もあり得る。その場合には，ROIが存在しないという分類結果を返し，その場合に適した統合方法を用いることにより，適切な処理を行うことができる。

図１７は，分類結果に応じて統合方法を制御する処理を表す一実施例図である。図１６では，テーブルなどのデータを用いて分類結果毎に統合方法を制御する処理について説明したが，本実施例では，予め定められたルールに基づいて分類結果毎に統合方法を制御する。この例では，ROIを欠陥とし，パターンの上側にあるか否か，透明度が高いか否か，上層パターンの影か否か，相対明度が高いか否かを，処理１７０２〜１７０５により判定し，その結果に応じて統合方法を変える。まず，判定処理１７０２によりパターンの上側にあるか否かを判定し，パターンの上側にないと判定した場合は，図５の実施例図にて説明したようなROI差分情報との荷重和処理１７１１を行う。パターンの上側にあると判定した場合は，次に判定処理１７０３により透明度が高いか否かを判定する。この処理は，例えば透明度があるしきい値を超えるか否かにより判定すれば良い。透明度が高いと判定した場合は，処理１７１１を行う。一方，透明度が高くはないと判定した場合は，判定処理１７０３によりROIが上層パターンの影の領域にあるか否かを判定する。影の領域にはないと判定した場合は，図４の実施例図にて説明したような荷重和処理１７１２を行う。影の領域にあると判定した場合は，判定処理１７０５でROI周囲との相対明度が高いか否かを判定する。相対明度が高いと判定した場合は，荷重和処理１７１２を行う。一方，相対明度が低いと判定した場合は，図６の実施例図にて説明したような明度調整後に荷重和を計算する処理１７１３を行う。

図１８は，分類結果毎の統合方法を設定するためのユーザインターフェイスを表す一実施例図である。タブ１８０１では，各々の画像をベース画像とする統合画像の生成方法に関する設定を切り替えられる。この例では，チルトをせずに撮像した２次荷電粒子像（ＳＰ像）と後方散乱荷電粒子像（ＢＳＰ像），およびチルトをして撮像したＳＰ像とＢＳＰ像の，４枚の撮像画像から，ＳＰ像をベース画像とする統合画像を作成するための統合方法を設定する画面を表示している。タブ１８０１をＢＳＰ像に設定すれば，同じ４枚の撮像画像から，ＢＳＰ像をベース画像とする統合画像を生成するための統合方法を指定できる。４枚の撮像画像から任意の枚数の統合画像を生成することができる。ＳＰ像をベース画像とする統合画像を２枚生成しても良い。統合方法を設定する画面は，対象とする分類結果を指定するセル１８１２と，対応する統合方法を指定するセル１８１３と，その設定の優先順位を指定するセル１８１１からなる。また，設定を決定するための決定ボタン１８２１と設定をデフォルト値に戻すクリアボタン１８２２がある。

１８３１の行では，分類結果がスクラッチ欠陥の場合，ＳＰ像に対してＢＳＰ像におけるROIの差分（セル中の記述 "sub(・)" は，ROIの差分を求める関数を表す）をａ倍した値を加算した値をROIにおける統合結果とすることを表している。この処理は，図５の実施例図で説明をした統合方法に対応する。ａはパラメータであり，ユーザにより別途指定された値を用いても良いし，ROIにおけるコントラストが一定値以上である等の評価指標に基づいて自動で決定しても良い。ROI以外の領域における統合方法は本実施例図では記載していないが，同様にインターフェイスを通して設定しても良いし，自動で制御しても良い。例えば１８３１の行の場合はROI以外の領域ではベース画像であるＳＰ像をそのまま用いれば良いし，形状変形や明度調整が必要となる場合には対応する処理を行うようにすれば良い。１８３２の行では，分類結果が暗部の場合，ＳＰ像に対して明度調整を行った画像（セル中の記述 "contr(・)" は，明度調整を行う関数を表す）と，ＢＳＰ像に対して明度調整を行った画像のうち，平均明度値が高いほうの画像（セル中の記述 "argmax(・)" は，平均明度値が高い画像を選択する関数を表す）をROIにおける統合結果とすることを表している。１８３１の行と１８３２の行では，１８３１の行のほうが優先順位が高いため，暗部にあるスクラッチ欠陥があると１８３１の行にて指定された統合方法が適用される。１８３３の行では，分類結果がパターン側壁領域にあり，かつチルト像から抽出されたROIである場合，チルトさせたＳＰ像を形状変形した画像（セル中の記述 "distort(・)" は，形状変形する関数を表す）をROIにおける統合結果とすることを表している。この際，図９の実施例図にて説明したように，ベース画像も形状変形するとROIがより見やすくなる場合があるため，ベース画像も必要に応じて自動で形状変形する。１８３４の行では，分類結果がその他の全ての場合，ＳＰ像をｂ倍した画像とROIを１−ｂ倍した画像の和を，ROIでの統合画像とすることを表している。ｂはパラメータである。このように，分類結果毎の統合方法を指定するインターフェイスを備えることにより，ユーザが望む方法で統合方法を制御することが可能になる。

統合方法は，必要に応じて詳細を指定できるような機能を設けても良い。一方，詳細な指定を行わなかった場合にも，ある程度自動で処理をするようにしても良い。例えば，１８３１の行におけるパラメータａは，先述したように指定をしなくても自動で適切な値を設定するような処理にすることができる。同様に，１８３２の行における明度調整や１８３３の行における形状変形においても，具体的なパラメータが指定されなかった場合には自動で設定するような処理にすることができる。

また，インターフェイス画面において，タグの追加・削除・修正を行うためのインターフェイスや，セルの行数を増減するためのインターフェイス，設定をファイルに書き出したり，ファイルから読み込んだりするためのインターフェイスを備えていても良い。さらにパラメータ等の詳細設定を行うためのインターフェイスを備えていても良い。

図１９は，欠陥を含む高倍画像を自動で撮像してその統合画像を求めるシーケンスの一実施例図である。欠陥を含む高倍画像を自動で撮像するためには，欠陥位置を高精度に求める必要がある。このためには，まず低倍画像を撮像し，その低倍画像から欠陥検出処理を行なうことにより欠陥位置を高精度に求めるという前処理が必要になることが多い。そこで，まず，ステップ１９０１にて，低倍参照画像１９１１を取得する。参照画像は，半導体ウェハ内の他のチップにおける対応する位置を撮像した画像であっても良いし，同一チップにおける同様の形状のパターンが存在する位置を撮像した画像であっても良い。次に，ステップ１９０２にて低倍欠陥画像１９１２を取得し，ステップ１９０３により低倍参照画像１９１１と低倍欠陥画像１９１２を用いて欠陥位置を特定する。その後，ステップ１９０４にて高倍欠陥画像を取得する。ステップ１９０５ではROIを抽出し，ステップ１９０６ではROIを分類する。ステップ１９０７にて分類結果に基づいて画像を統合し，最後にステップ１９０８で統合画像を表示する。高倍欠陥画像を取得する方法は，例えば特開平９−１３９４０６号公報に開示されている。統合画像を表示する前に，データベース等に統合画像を保存しておき，観察対象とする欠陥位置毎にステップ１９０１〜１９０７の処理を繰り返した後，最後にまとめて統合画像を表示しても良い。

ステップ１９０５でROIを抽出したり，ステップ１９０６でROIを分類する際，高倍欠陥画像のみでなく，低倍参照画像１９１１や逓倍欠陥画像１９１２を用いても良い。また，ステップ１９０７で画像を統合する際，複数枚の高倍欠陥画像を統合しても良いし，低倍参照画像１９１１，低倍欠陥画像１９１２の何れかまたは両方と高倍欠陥画像を統合しても良いし，低倍参照画像１９１１，低倍欠陥画像１９１２の何れかまたは両方のみを用いて統合しても良い。または，他の欠陥位置を撮像した際に取得した他の画像（低倍参照画像または低倍欠陥画像または高倍欠陥画像）を用いて統合しても良い。

以上の実施例で説明したとおり、本願発明は以下の画像表示方法および前記画像表示方法を搭載した荷電粒子顕微鏡装置により前記課題を解決するものである。

(1)本発明は，複数枚の画像を撮像し，撮像画像からROIを抽出・分類した後，複数枚の撮像画像を統合して表示する。この際，ROIの分類結果に応じて統合方法を制御することを特徴とする。

これにより，ROI毎に画像での見え方が大きく異なる場合でも，自動で各々のROIに適した方法を選択して統合を行うことができ，常にROIの画質が良好な画像を提供することが可能になる。

(2)また，本発明は，ROIの分類においてROI内に存在する複数の対象物の高さ関係を識別することを特徴とする。

ここで，荷電粒子源に近いほど高い位置にあり，遠いほど低い位置にあると表現している。例えば，ROIがホールパターンを含む場合，穴底は相対的に低い位置，ホール周辺の領域は相対的に高い位置にある。本発明では，対象物の高さ関係を識別した上で統合を行うことにより，対象物の高さに関する情報を残した自然な画像を提供することが可能になる。具体例として，酸化膜を撮像した画像において，ROIが埃などの欠陥（以下，異物）である場合を考える。異物が酸化膜の上にある場合には，異物が映った領域では異物の真下にあるパターンは通常は見えない。一方，異物が酸化膜の下にある場合には，ROIには酸化膜が異物のために盛り上がって見える。自然な画像にするためには，このような特徴を残した上で画像を統合する必要があり，高さ関係を用いてROIを分類することにより，これが可能になる。

(3)また，本発明は，ROIの分類において，ROIが上層パターン領域，下層領域，パターン側壁領域，のうち少なくとも二つの領域のうち，何れであるかを識別することを特徴とする。

ROIが下層領域やパターン側壁領域に存在する場合，視認性を向上するためには重み付け加算処理よりも高度な処理が必要となる場合が多い。例えば，ROIが下層領域に存在する場合には，試料から放出される荷電粒子が上層パターンに遮蔽されるため検出器に到達しにくくなり，一般にコントラストが低下する。このような画像に対してROIを顕在化するためには，重み付け加算のみでなく明度調整も必要になる。また，ROIがパターン側壁領域に存在する場合，パターン側壁領域は画像内の小さい領域に対応することが多いため視認性が良好ではないことが多い。ROIがパターン側壁領域にある場合に，荷電粒子ビームを試料の直上からではなく斜め方向から照射して（すなわち，チルトさせて）画像を撮像する場合もある。このときに，チルトさせずに撮像した画像にチルト画像を統合することにより，ROIの視認性を向上できる。しかし，統合を行う前に，それぞれの画像の画素間の対応付けを行うために，画像を適切に伸縮させる必要がある。このように，ROIが上層パターン領域，下層領域，パターン側壁領域の何れに存在するかに応じて適切な統合の方法が異なるが，本発明により，どの領域に存在するかを分類して統合方法を制御することで，適切な統合方法を適用することができる。

(4)また，本発明は，ROIの周辺領域における複数枚の撮像画像の間の形状情報に基づいて，撮像画像に対してROIおよびROIの周辺領域を変形した後で統合することを特徴とする。

複数枚の撮像画像の間には，画像歪みのために画素毎に映っているものが異なることもある。チルトさせていない画像とチルト画像は分かりやすい例である。また，異なる種類の検出器で撮像した画像であっても，例えばパターンの境界部において，一方の画像では上層パターンの情報が支配的であり，他方の画像では下層領域の情報が支配的である場合も多い。この場合には，下層領域の幅が画像によって異なって見える。これらの場合には事前に形状を適切に変形しなければ，複数の撮像画像を統合した際に，その境界が不連続になるなどの不具合が発生する。この際，ROIのみでなく，その周辺領域も変形する必要がある。これに対し，本発明により画像歪みのある撮像画像の場合にも自然に統合を行うことができる。

(5)また，本発明は，ROIと，ROIの周辺領域との明暗関係を保存して統合することを特徴とする。

画像の各領域の明度値は，複数の撮像画像の間で大きく異なる場合がある。例えば，異なる種類の検出器を用いた場合は，各々の検出器にて検出している粒子の種類や特徴が異なるため，明度値は一般に大きく異なる。また，検出器の配置位置によっても，各検出器に到達する粒子の個数が変化するため明度値は異なる。このため，単純な重み付け加算では明暗が逆転して不自然に見える場合がある。これに対し，本発明では，統合処理の際に明度調整を行うことによりROIとROIの周辺領域との明暗関係を保存する。これにより，明暗の逆転を抑えた自然な統合を可能とする。

上記（１）−（５）に示した本願発明によれば、荷電粒子顕微鏡において、複数枚の画像を撮像し、撮像画像からＲＯＩを抽出・分類した後、複数枚の撮像画像を統合して表示する際に、分類結果に応じて統合方法を制御することにより、各々のＲＯＩが見えやすい画像を提供する走査荷電粒子顕微鏡装置およびその画像表示方法を提供することができるという効果を奏します。

Claims

試料を撮像して複数の撮像画像を取得する画像取得ステップと、
前記画像取得ステップにて取得した該複数の撮像画像から一以上の観察対象領域を抽出する観察対象領域抽出ステップと、
前記観察対象領域抽出ステップにて抽出した該一以上の観察対象領域を分類する観察対象領域分類ステップと、
前記観察対象領域分類ステップの分類結果に基づき決定した統合方法により該複数の撮像画像を統合して統合画像を生成する画像統合ステップと、
を備える観察方法。
前記観察対象領域分類ステップでは、該観察対象領域に存在する複数の対象物の高さに関する情報に基づき該一以上の観察対象領域を分類し，
前記画像統合ステップは，該対象物の高さに関する情報に基づいて統合方法を決定することを特徴とする請求項１記載の観察方法。
前記観察対象領域分類ステップでは、該観察対象領域が上層パターン領域，下層領域，パターン側壁領域のうちの少なくとも二つの領域のいずれの領域に属するかを分類し，
前記画像統合ステップは，前記観察対象領域分類ステップの分類結果に基づいて統合方法を決定することを特徴とする請求項１または２記載の観察方法。
前記画像統合ステップは，前記観察対象領域の周辺領域における該複数の撮像画像の間の形状情報に基づいて，該複数の撮像画像のうち少なくとも1枚に対して該観察対象領域および該観察対象領域の周辺領域を変形した後で統合することを特徴とする請求項１乃至３のいずれかに記載の観察方法。
前記画像統合ステップは，前記観察対象領域と，前記観察対象領域の周辺領域との明暗関係を保存して統合することを特徴とする請求項１乃至４のいずれかに記載の観察方法。
さらに、前記画像統合ステップにより生成した該統合画像を表示する表示ステップを備えることを特徴とする請求項１乃至５のいずれかに記載の観察方法。
試料を撮像して複数の撮像画像を取得する画像取得部と、
前記画像取得部にて取得した該複数の撮像画像から一以上の観察対象領域を抽出する観察対象領域抽出部と、
前記観察対象領域抽出部にて抽出した該一以上の観察対象領域を分類する観察対象領域分類部と、
前記観察対象領域分類部の分類結果に基づき決定した統合方法により該複数の撮像画像を統合して統合画像を生成する画像統合部と、
を備える観察装置。
前記観察対象領域分類部では、該観察対象領域に存在する複数の対象物の高さに関する情報に基づき該一以上の観察対象領域を分類し，
前記画像統合部は，該対象物の高さに関する情報に基づいて統合方法を決定することを特徴とする請求項７記載の観察装置。
前記観察対象領域分類部では、該観察対象領域が上層パターン領域，下層領域，パターン側壁領域のうちの少なくとも二つの領域のいずれの領域に属するかを分類し，
前記画像統合部は，前記観察対象領域分類部の分類結果に基づいて統合方法を決定することを特徴とする請求項７または８記載の観察装置。
前記画像統合部は，前記観察対象領域の周辺領域における該複数の撮像画像の間の形状情報に基づいて，該複数の撮像画像のうち少なくとも1枚に対して該観察対象領域および該観察対象領域の周辺領域を変形した後で統合することを特徴とする請求項７乃至９のいずれかに記載の観察装置。
前記画像統合部は，前記観察対象領域と，前記観察対象領域の周辺領域との明暗関係を保存して統合することを特徴とする請求項７乃至１０のいずれかに記載の観察装置。
さらに、前記画像統合部により生成した該統合画像を表示する表示部を備えることを特徴とする請求項７乃至１１のいずれかに記載の観察装置。