JP2023056474A - 荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置 - Google Patents

荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置 Download PDF

Info

Publication number
JP2023056474A
JP2023056474A JP2022130753A JP2022130753A JP2023056474A JP 2023056474 A JP2023056474 A JP 2023056474A JP 2022130753 A JP2022130753 A JP 2022130753A JP 2022130753 A JP2022130753 A JP 2022130753A JP 2023056474 A JP2023056474 A JP 2023056474A
Authority
JP
Japan
Prior art keywords
image
charged particle
particle beam
image processing
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022130753A
Other languages
English (en)
Other versions
JP7401613B2 (ja
Inventor
貴志 小川
Takashi Ogawa
ジュン・ヒョク・ファン
Jun Hyeok Hwang
イン・ヨン・パク
In Yong Park
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Research Institute of Standards and Science KRISS
Original Assignee
Korea Research Institute of Standards and Science KRISS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Research Institute of Standards and Science KRISS filed Critical Korea Research Institute of Standards and Science KRISS
Publication of JP2023056474A publication Critical patent/JP2023056474A/ja
Application granted granted Critical
Publication of JP7401613B2 publication Critical patent/JP7401613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/244Detectors; Associated components or circuits therefor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

Figure 2023056474000001
【課題】荷電粒子線装置の画像をデコンボリューションして復元する方法とその画像復元方法を使う荷電粒子線装置を提供する。
【解決手段】本方法は、画像処理装置が荷電粒子線装置の検出器が取得した観測画像の入力を受ける段階、前記画像処理装置がPSF(Point Spread Function)を演算する段階、前記画像処理装置が前記観測画像および前記PSFを利用してデコンボリューション(Deconvolution)で前記観測画像を復元する段階、前記画像処理装置が前記デコンボリューション過程に適用される媒介変数に対する評価関数を演算する段階および前記画像処理装置が前記評価関数結果を基準として前記媒介変数を調整し、最適な媒介変数を使って再度前記観測画像および前記PSFに対するデコンボリューション(Deconvolution)を遂行して画像を復元する段階を含む。
【選択図】図2

Description

以下で説明する技術は、荷電粒子線装置の観測画像を復元する技法および荷電粒子線装置に関する。特に以下で説明する技術は、観測画像を復元する過程に使われる媒介変数を自動で設定して画像を復元する技法および画像処理装置を備えた荷電粒子線装置に関する。
本研究は、2022年度科学技術情報通信部及び科学技術雇用振興院(COPMA)の財源で、未来先導研究装備核心技術開発事業団からの支援(プロジェクト番号:(2022)ERIC01_1)、および科学技術雇用振興院(COPMA)からの支援(2022-性能高度化基盤造成-共同-01、国際標準基盤研究装置ソフトウェア開発及び共有プラットフォーム構築)を受けて行われた。
荷電粒子線装置は光源から放出された荷電粒子線を電場および磁場を用いた荷電粒子光学系を使って試料の表面に結像し、試料に照射する装置である。荷電粒子線装置は材料科学、ナノ科学、電子工学分野で広く使われている。荷電粒子線装置による顕微鏡観察は高い空間分解能が得られるため、基板の上に成長した薄膜、ナノチューブ、プラズモン構造、試料の原子配列のように一般の光学顕微鏡では観察できない程度に小さな構造を観察することができる。このように、高い分解能のため荷電粒子線装置は細胞のような生物試料の微細構造も観察、電子線回折イメージを通じて試料の結晶構造等も把握することができる。
荷電粒子線装置で観測された画像は画像処理過程を通じて復元される。観測画像を復元するための多様な方法が研究され、代表的な方法としてウィーナフィルタ(Wiener Filter)を使う方法がある。ただし、使用者が観測画像の復元過程で媒介変数を調整する方式で画像を復元している。したがって、使用者の経験によって復元画像の品質が変わったり、品質の良い画像復元のために長時間が必要とされる問題があった。ひいては、ウィーナフィルタを適用する場合、特に雑音が多い画像に対しては、復元性能が大きく低下する場合もあった。
以下で説明する技術は、観測画像の復元に使われる最適の媒介変数を自動で設定する技法および画像処理装置を備えた荷電粒子線装置を提供しようとする。また、以下で説明する技術は雑音が多い画像の場合にも高い復元品質を維持するフィルタを提供しようとする。
以下で説明する技術は、画像処理装置が最適な媒介変数を自動で探しながら高い品質の復元画像を提供する。また、以下で説明する技術は雑音が多い画像である場合にも改良されたフィルタを適用して高い品質の復元画像を提供する。
荷電粒子線装置に対する概略的な構造の例である。 画像処理装置が荷電粒子線装置の画像を復元する過程に対する例である。 評価関数を計算した結果の例である。 画像処理装置が復元した画像を出力した例である。 復元された画像の品質情報を出力する例である。 雑音が顕著な画像を復元した例である。 画像を復元する画像処理装置に対する例である。
以下で説明する技術は多様な変更を加えることができ、多様な実施例を有することができるが、特定の実施例を図面に例示して詳細に説明しようとする。しかし、これは以下で説明する技術を特定の実施形態に対して限定しようとするものではなく、以下で説明する技術の思想および技術範囲に含まれるすべての変更、同等な技術および代替技術を含むものと理解されるべきである。
第1、第2、A、Bなどの用語は多様な構成要素を説明するのに使われ得るが、該当構成要素は前記用語によって限定されはせず、単に一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、以下で説明する技術の権利範囲を逸脱することなく第1構成要素は第2構成要素と命名され、同様に第2構成要素も第1構成要素と命名され得る。および/またはという用語は複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のいずれかの項目を含む。
本明細書で使われるものと理解されるべきであり、「含む」等の用語は説明された特徴、個数、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを意味するものであって、一つまたはそれ以上の他の特徴や個数、段階動作構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を排除しないものと理解されるべきである。
図面に対する詳細な説明に先立ち、本明細書での構成部に対する区分は各構成部が担当する主機能別に区分したものに過ぎないことを明確にしようとする。すなわち、以下で説明する2個以上の構成部が一つの構成部として合わせられたり、または一つの構成部がより細分化された機能別に2個以上に分化されて備えられてもよい。そして、以下で説明する構成部それぞれは、自身が担当する主機能以外にも他の構成部が担当する機能の一部又は全部の機能を追加的に遂行してもよく、構成部それぞれが担当する主機能のうち一部の機能が異なる構成部によって専門に担当されて遂行されてもよいことは言うまでもない。
また、方法または動作方法を遂行するにおいて、前記方法をなす各過程は文脈上明白に特定の順序を記載しない以上、明記された順序と異なって起きてもよい。すなわち、各過程は明記された順序と同一に起きてもよく、実質的に同時に遂行されてもよく、反対の順で遂行されてもよい。
荷電粒子線装置は走査型電子顕微鏡(Scanning electron microscopy、SEM)、走査型透過顕微鏡(Scanning transmission electron microscopy、STEM)等のように電子源を使う装置および集束イオンビーム(Focused ion beam、FIB)、ヘリウムイオン顕微鏡(Helium ion microscopy、HIM)等のようにイオンビームを使う装置を含む。ひいては、荷電粒子線装置はEELS(Electron Energy Loss Spectroscopy)、AES(Auger Electron Spectroscopy)、EDX(Energy dispersive X-ray spectroscopy)のような装置が装着されたものを含む。以下、顕微鏡は荷電粒子線を基本とする装置を意味する。
以下で説明する技術は、荷電粒子線装置が取得した試料画像を復元する技法である。図1は、荷電粒子線システム100に対する概略的な構造の例である。荷電粒子線システム100は荷電粒子線装置110、画像処理装置120および出力装置130を含む。荷電粒子線システム100は荷電粒子線装置110が取得した試料画像を復元する画像処理装置120を有する。
荷電粒子線装置110は前述した通り、多様な方式の装備のうちいずれか一つであり得る。荷電粒子線装置110は光源、集束レンズ、絞り、走査システム、対物レンズ、検出器などを含む。光源は電子源およびイオン源を意味する。集束レンズは磁場および電場を使ったレンズであって、荷電粒子を集束して伝達する役割を遂行する。絞りは光源で不要な部分を除去し、各レンズと共に光学系を最適化するのに使われる。走査システムは試料の表面に荷電粒子ビームを試料の表面に走査するために使用し、該当地点で発生した電子信号は検出器を通じて収集される。対物レンズは試料の表面に最終的に焦点を結ばせる役割をする。
画像処理装置120は検出器が試料の表面で観測した画像(観測画像)を復元する。復元過程および詳細構造については後述する。画像処理装置120は復元された画像を別途の出力装置130に伝達することができる。
試料の表面に荷電粒子ビームが走査されると、検出器が試料の表面に発生した電子信号を収集する。以下で説明する技術は、荷電粒子線装置で収集された試料の信号を復元して画像を生成する技術である。したがって、画像復元前の過程である試料の表面の信号取得過程については詳細な説明を省略する。以下、画像処理装置が画像復元を遂行すると説明する。画像処理装置は荷電粒子ビームが照射された試料で観測された画像を復元する装置である。画像処理装置はデータおよび信号処理が可能なコンピュータ装置を意味する。
まず、荷電粒子線装置で取得した画像が復元される一般的な過程を説明する。
顕微鏡画像(観測画像)h(r)は試料の情報f(r)と点拡散関数(Point Spread Function、PSF)g(r)の合成積(Convolution)であり、下記の数式1のように表現される。
Figure 2023056474000002
数式1の過程を経ると試料の本来の情報はPSFによって歪曲が発生する。しかし、下記の数式2のように、デコンボリューション(Deconvolution)を遂行して本来の試料情報を復元することができる。
Figure 2023056474000003
数式2で、FとF-1はそれぞれフーリエ変換と逆フーリエ変換である。数式2のような過程は、画像復元(Image restoration)方法の一つである逆フィルタ(inverse filter)と呼ばれる。しかし、このような過程は画像の雑音(Noise)が無視できるほど小さい場合にのみ有効である。雑音η(r)が含まれた顕微鏡画像は下記の数式3のように表現することができる。
Figure 2023056474000004
もし数式3のように形成された画像を数式2を使って復元する場合、雑音に該当する項が残るので復元が正しくなされないか、かえって雑音が増幅される結果を招く。
また、荷電粒子光学系の特性が反映されたPSFが定義されなければならない。PSFを演算する多様な方法がこれまでに研究されている。ノイズを無視できない画像は、下記の数式4のようにウィーナフィルタ(Wiener filter)を適用して復元することができる。
Figure 2023056474000005
数式4でG(k)およびH(k)はそれぞれg(r)およびh(r)のフーリエ変換であり、Kは信号対雑音比(Signal to Noise Ratio、SNR)である。また、復元された画像は下記の数式5によって正規化(Regularization)され得る。
Figure 2023056474000006
数式5で、R(f(r))は正規化項であり、λはスムージング(smoothing)媒介変数である加重値である。結局、品質が高い復元画像を得るために媒介変数Kとλが適切に選択されなければならない。従来は装置開発者や使用者が媒介変数を経験により設定して使用していた。
図2は、画像処理装置が荷電粒子線装置の画像を復元する過程200に対する例である。以下で説明する過程は画像処理装置が画像復元のための最適パラメータを自動で適用する例である。
画像処理装置は荷電粒子ビームが照射された試料の表面に対して検出器が観測した画像を取得する(210)。画像処理装置はPSFを演算する(220)。PSFは従来に研究された多様な技法やアルゴリズムのうちいずれか一つを使って演算され得る。
画像処理装置は前述した過程(数式4および数式5)を通じて画像を復元する(230)。画像処理装置は媒介変数最適化のための評価関数を演算する(240)。評価関数は下記の数6の通りである。
Figure 2023056474000007
γは最適化媒介変数である。媒介変数は数式4のウィーナフィルタ設定変数Kおよび数式5の正規化変数λのうち少なくとも一つであり得る。
Figure 2023056474000008
Figure 2023056474000009
復元前の画像に加えられた雑音の平均が0であると仮定する。雑音の平均は画像の輝度平均の変化に寄与する。しかし、輝度平均は顕微鏡使用者がイメージ観察を容易にするために制御することができ、雑音の平均と区分することは難しい。したがって、イメージに足された雑音の平均が0でなくても、雑音の平均は輝度平均に含まれていると理解できるため、このような仮定は問題とならない。
数式7は原本画像と復元された画像の差に該当する。画像が原本に近く復元されたのであれば、数式7の計算結果は原本イメージに足された雑音となる。雑音の平均が0であると仮定すれば、画像が最も原本に近く復元される場合、数式8の結果は0に近づく。図3は、評価関数を計算した結果の例である。
画像処理装置は数式6の媒介変数評価関数の結果が最適であるか否かを判断する(250)。この時、画像処理装置は図3のような形態で評価結果を画面に出力することができる。媒介変数を変更して観察すれば現在の媒介変数が最適であるか否かが確認可能である。
媒介変数評価関数演算結果が最適でない場合、他の媒介変数を適用(260)してイメージを復元して評価する過程を繰り返す。
画像処理装置は数式6~数式8による媒介変数評価を基準として画像を復元するため、PSFと雑音などに歪曲されていない完全な画像を使う必要なくPSFと原本画像だけで画像を復元することができる。
現在媒介変数評価関数演算結果が最適でない場合、画像処理装置は他の媒介変数を適用して画像を復元する。この時、画像処理装置は最適化アルゴリズム(Gradient descent法、Robust regression法など)を利用して媒介変数を決定することができる。
場合によっては、画像処理装置が使用者が入力する媒介変数の値を利用して画像を復元する過程を遂行してもよい。
媒介変数評価関数演算結果が最適である場合、現在復元した画像が最適であるので最適画像を出力する(270)。
ひいては、図2に図示してはいないが、画像処理装置は最終出力した復元された画像に対する画像品質を評価してもよい。例えば、画像処理装置は国際標準化機構が定めた基準(ISO/TS 24597:2011(E))を用いて顕微鏡画像の品質を評価することができ、評価された像シャープネス(sharpness、一般的には像分解能に相当する。)とCNR(Contrast-To-Noise-Ratio)の値からイメージの品質を定量的に決定することができる。
一方、画像処理装置は媒介変数を適用して画像を復元して生成される画像および情報をディスプレイ装置に出力することができる。この時、画像処理装置はCNRと像シャープネスの情報を画像に含ませて出力してもよい。図4は、画像処理装置が復元した画像を出力した例である。図4(A)は復元前の画像(すなわち、検出器が取得した試料の表面画像)である。この時、像シャープネスは1.49nm、CNRは10.1である。図4(B)は最適な復元画像の例である。この時、像シャープネスは1.02nm、CNRは55.1、媒介変数γopt.は最適値0.25である。画像が像シャープネス、CNRなどの情報を共に提供して使用者が定量的に復元された画像の品質を確認することができる。図4(C)は媒介変数γ=0.001に設定されて復元された画像であり、γ<γopt.の場合である。図4(C)は画像の像シャープネスは向上されたかもしれないものの、画像にアーチファクト(artifact)の影響が大きいため画像が適切に復元されなかった。図4(D)は媒介変数γ=50に設定されて復元された画像であり、γ>γopt.である場合である。図4(D)は画像にアーチファクトの影響は小さいが、像シャープネスが過度に低下した結果を示す。したがって、媒介変数が最適値であるγopt.から過度に外れるとイメージは正しく復元されないことが分かる。
画像処理装置は一定の媒介変数で画像を復元しながら復元した結果を図4のように出力することができる。この時、画像処理装置は繰り返して復元した画像を共に出力してもよい。使用者は出力される復元画像を比較して媒介変数による復元性能を確認することができる。
また、画像処理装置は画像の品質を評価できる別途の情報を生成して画面に出力することができる。図5は、復元された画像の品質情報を出力する例である。図5(A)は、像シャープネス関連情報を出力する例である。図5(A)は、媒介変数γによる像シャープネスおよびSPR(Sharpness to pixel size ratio)を表示する例である。図5(A)で復元画像の像シャープネスが原本の画像より小さい値を有するので、復元されたイメージの品質が優秀であることを意味する。図5(B)は、媒介変数γによるCNRを表示する例である。図5(B)で復元画像のCNRは原本画像より大きい値を有するので、復元されたイメージの品質が優秀であることを意味する。
一方、ウィーナフィルタを使う場合、ノイズが多くSNRが低い画像で特に復元性能が低下する問題がある。これを克服するために画像処理装置はCLSF(Constrained least square filter)を使うことができる。画像処理装置は下記の数式9のように画像復元過程にCLSFを適用することができる。数式9は前述した数式4にCLSFを適用した形態である。すなわち、画像処理装置は前述した数式4とは異なって、CLSFが適用された数式9を使って画像を復元することができる。
Figure 2023056474000010
Figure 2023056474000011
Figure 2023056474000012
図6は、雑音が顕著な画像を復元した例である。図6(A)は雑音が顕著な原本画像である。図6(B)はCLSFで図6(A)を復元した画像である。図6(B)の復元画像で像シャープネスは1.22nm、CNRは56.0、γoptは0.54である。図6(C)および図6(D)はウィーナフィルタで図6(A)を復元した画像である。図6(C)の復元画像で像シャープネスは1.22nm、CNRは27.6、Kは0.123である。図6(D)の復元画像で像シャープネスは1.82nm、CNRは57、Kは0.57である。したがって、雑音が顕著な画像を復元する場合CLSFを適用した場合最も高い品質を有することが分かる。
図7は、画像を復元する画像処理装置400に対する例である。画像処理装置400は図1の画像処理装置120に該当する。画像処理装置400は保存装置410、メモリ420、フレームグラバー(frame grabber、430)、インターフェース装置440および演算装置450を含むことができる。ひいては、画像処理装置400は出力装置460をさらに含むことができる。
保存装置410は荷電粒子線装置で取得した画像を復元するためのプログラムおよびプログラムコードを保存することができる。
保存装置410はPSF演算のためのプログラムを保存することができる。このプログラムはPSFを演算する機能を遂行する。
保存装置410は画像処理プログラムを保存することができる。画像処理プログラムは観測画像を復元する機能を遂行する。
保存装置410は入力される観測画像を保存することができる。
保存装置410は復元画像を保存することができる。
メモリ420は画像処理装置400が観測画像を復元する過程で生成されるデータおよび情報などを保存することができる。
フレームグラバー430は観測画像を一定の画像データに変換する装置である。フレームグラバー430はアナログ画像を一定のフォーマットのデジタルデータに変換してもよい。フレームグラバー430はインターフェース装置440を通じて観測画像が伝達され得る。フレームグラバー430が変換した画像データは保存装置410、メモリ420または演算装置450に提供され得る。
インターフェース装置440は外部から一定の命令およびデータが入力される装置である。インターフェース装置440は物理的に連結された荷電粒子線装置から観測画像の入力を受けることができる。
インターフェース装置440は使用者から一定の情報や命令の入力を受けてもよい。例えば、インターフェース装置440は画像復元命令、画像復元に使われる媒介変数などの入力を受けることができる。
インターフェース装置440は復元画像を出力装置460または外部客体に伝達してもよい。
図7に図示してはいないが、画像処理装置400は通信装置を含んでもよい。通信装置は有線または無線ネットワークを通じて一定の情報を受信して伝送する構成を意味する。通信装置は荷電粒子線装置または外部客体から観測画像を受信することができる。または通信装置は復元画像を使用者端末のような外部客体に送信してもよい。
演算装置450は保存装置410に保存された命令語およびプログラムコードを利用して観測画像を復元することができる。演算装置450は一定の演算を処理するプロセッサ、アプリケーションプロセッサー(AP)、プログラムが実装された半導体素子およびチップなど装置である。演算装置450は中央処理装置(CPU)または画像処理装置(GPU)のようなプロセッサであり得る。
演算装置450はPSF演算プログラムを利用してPSFを演算する。PSF演算は従来研究された多様な方法のうちいずれか一つを使ってもよい。
演算装置450はデコンボリューションを通じて試料情報を復元する。デコンボリューションは前述した数式2で説明した通りである。ひいては、演算装置450は数式4のようにウィーナフィルタを利用して画像を復元することができる。演算装置450は復元された画像を数式5を利用して正規化することができる。
演算装置450は画像の復元前に観測画像に含まれた雑音を除去する過程を遂行できる。その後、雑音が除去された観測画像を復元することができる。
演算装置450は図2で説明した通り、画像を復元するための最適の媒介変数を探す過程を遂行できる。
演算装置450は数式6のような媒介変数評価関数を演算することができる。
演算装置450は現在の媒介変数が最適媒介変数であるか否かを判断することができる。最適でない場合、演算装置450は媒介変数を変更して再び画像を復元する過程を遂行する。この時、演算装置450は最適化アルゴリズム(Gradient descent法、Robust regression法など)を利用して媒介変数を選択することができる。演算装置450は復元された画像が出力装置460に出力されるように制御することができる。
演算装置450は数式9のようにCLSFを適用して画像を復元してもよい。
演算装置450は媒介変数を変更しながら最適媒介変数を探す過程を繰り返し遂行できる。図3で説明した通り、媒介変数の変更によって媒介変数評価関数の結果が変わるため、演算装置450は繰り返し媒介変数を変更して最適な媒介変数を探すことができる。
演算装置450は前述した通り、復元された画像をISO基準等を利用して評価することができる。演算装置450は評価指標(像シャープネス、CNRなど)を出力装置460に出力されるように制御することができる。
演算装置450は最終的に選択された媒介変数で復元した画像を保存装置410に保存することができる。また、演算装置450は最終的な最適復元画像を出力装置460に出力されるようにすることができる。
出力装置460は一定の情報を出力する装置である。出力装置460はデータ処理過程に必要なインターフェース、復元画像などを出力することができる。
前述した通り、荷電粒子線装置は走査電子顕微鏡(SEM)、走査透過顕微鏡(STEM)等のように電子源を使う装置、集束イオンビーム(FIB)、ヘリウムイオン顕微鏡(HIM)等のようにイオンビームを使う装置がある。
荷電粒子線装置は光源として電子源またはイオン源を使う。電子源(Electron source)はタングステン(W)、ランタンヘキサボライド(LaB)、セリウムヘキサボライド(CeB)、ショットキー電子源(Schottky emitter)、冷陰極電界放出電子源(Cold field emitter)等を使うことができる。イオン源(Ion source)はGa、In、Au、Biなどのような金属イオンを使った液体金属イオン源(Liquid metal ion source、LMIS)またはHe、Ne、H、O、N、Ar、Xeなどのような気体を使ったGas field ion source(GFIS)等を使う。
荷電粒子線装置は光源として電子源を使って電子ビームを試料に焦点を結ばせ、ビームを走査しながら試料から放出される二次電子、反射電子、透過電子、Auger電子、エネルギー損失電子、およびX線からなる信号を荷電粒子線装置の内部に配置された検出器で検出する。本荷電粒子線装置は前述した画像復元方法および画像処理装置を利用して検出器で検出した観測画像を復元することができる。
荷電粒子線装置は光源として電子源を使って電子ビームを試料に均一に照射して試料から放出される透過電子を拡大し、スクリーン型検出器に結像された観測画像を前述した画像復元方法および画像処理装置を利用して復元することができる。
荷電粒子線装置は光源としてイオン源を使ってイオンビームを試料に集束し、ビームを走査しながら試料から放出される二次電子、二次イオン、反射イオン、透過イオン、Auger電子およびX線からなる信号を荷電粒子線装置の内部に配置された検出器で検出する。以後荷電粒子線装置は前述した画像復元方法および画像処理装置を利用して検出器で検出した観測画像を復元することができる。
また、前述したような荷電粒子線装置での画像復元方法は、コンピュータで実行され得る実行可能なアルゴリズムを含むプログラム(またはアプリケーション)で具現され得る。前記プログラムは一時的または非一時的な読み取り可能媒体(non-transitory computer readable medium)に保存されて提供され得る。
非一時的な読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのように短い瞬間の間データを保存する媒体ではなく半永久的にデータを保存し、機器によって読み取り(reading)可能な媒体を意味する。具体的には、前述した多様なアプリケーションまたはプログラムはCD、DVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM(read-only memory)、PROM(programmable read only memory)、EPROM(Erasable PROM、EPROM)またはEEPROM(Electrically EPROM)またはフラッシュメモリなどのような非一時的な読み取り可能媒体に保存されて提供され得る。
一時的な読み取り可能媒体はスタティックラム(Static RAM、SRAM)、ダイナミックラム(Dynamic RAM、DRAM)、シンクロナスDRAM(Synchronous DRAM、SDRAM)、2倍速SDRAM(Double Data Rate SDRAM、DDR SDRAM)、エンハンスドSDRAM(Enhanced SDRAM、ESDRAM)、同期化DRAM(Synclink DRAM、SLDRAM)およびダイレクトラムバスラム(Direct Rambus RAM、DRRAM)のような多様なRAMを意味する。
本実施例および本明細書に添付された図面は前述した技術に含まれる技術的思想の一部を明確に表しているものに過ぎず、前述した技術の明細書および図面に含まれた技術的思想の範囲内で当業者が容易に類推できる変形例と具体的な実施例はすべて前述した技術の権利範囲に含まれることが自明と言える。

Claims (16)

  1. 画像処理装置が荷電粒子線装置の検出器が取得した観測画像の入力を受ける段階、
    前記画像処理装置がPSF(Point Spread Function)を演算する段階、
    前記画像処理装置が前記観測画像および前記PSFを利用してデコンボリューション(Deconvolution)で前記観測画像を復元する段階、
    前記画像処理装置が前記デコンボリューションの過程に適用される媒介変数に対する評価関数を演算する段階、および
    前記画像処理装置が前記評価関数の結果を基準として前記媒介変数を調整し、最適な媒介変数を使って再度前記観測画像および前記PSFに対するデコンボリューション(Deconvolution)を遂行して画像を復元する段階を含む、荷電粒子線装置の画像をデコンボリューションして復元する方法。
  2. 前記媒介変数はウィーナフィルタ媒介変数および正規化媒介変数のうち少なくとも一つを含む、請求項1に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  3. 前記媒介変数の評価関数は下記の数式で表現され、
    Figure 2023056474000013
    φ(γ)は媒介変数評価関数、γは最適化媒介変数、ψ(r;γ)は原本画像と媒介変数γが適用されて復元された画像の差に該当し、
    前記画像処理装置は前記媒介変数評価関数の結果が最も低い値を有する場合の媒介変数を前記最適な媒介変数として決定する、請求項1に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  4. 前記画像処理装置は最適化アルゴリズムを利用して前記媒介変数を調整する、請求項1に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  5. 前記画像処理装置が前記復元された画像に対して像シャープネス(sharpness)およびCNR(Contrast-To-Noise-Ratio)情報を提供する段階をさらに含む、請求項1に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  6. 前記画像処理装置は前記デコンボリューションの過程にCLSF(Constrained least square filter)を適用して前記観測画像を復元する、請求項1に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  7. 前記画像処理装置は前記デコンボリューションの過程に下記の数式のように前記CLSFを適用して前記観測画像を復元し、
    Figure 2023056474000014
    G(k)はPSF g(r)のフーリエ変換、H(k)は前記観測画像h(r)のフーリエ変換、γは最適化媒介変数である、請求項6に記載の荷電粒子線装置の画像をデコンボリューションして復元する方法。
  8. 荷電粒子線装置の検出器が取得した観測画像の入力を受ける入力装置、
    PSF(Point Spread Function)演算プログラムおよび画像復元プログラムを保存する保存装置、および
    前記PSF演算プログラムを利用してPSFを演算し、演算されたPSFと前記観測画像に対するデコンボリューション(Deconvolution)をして前記観測画像を復元し、前記デコンボリューションの過程に適用される媒介変数に対する評価関数を演算した結果を基準として前記媒介変数を調整し、最適な媒介変数を使って前記観測画像を復元する演算装置を含む、荷電粒子線装置の画像を復元する画像処理装置。
  9. 前記媒介変数の評価関数は下記の数式で表現され、
    Figure 2023056474000015
    φ(γ)は媒介変数の評価関数、γは最適化媒介変数、ψ(r;γ)は原本画像と媒介変数γが適用されて復元された画像の差に該当し、
    前記演算装置は前記媒介変数の評価関数の結果が最も低い値を有する場合の媒介変数を前記最適な媒介変数として決定する、請求項8に記載の荷電粒子線装置の画像を復元する画像処理装置。
  10. 前記演算装置は最適化アルゴリズムを利用して前記媒介変数を調整する、請求項8に記載の荷電粒子線装置の画像を復元する画像処理装置。
  11. 前記復元された画像、前記復元された画像に対して像シャープネス(sharpness)およびCNR(Contrast-To-Noise-Ratio)情報を出力する出力装置をさらに含む、請求項8に記載の荷電粒子線装置の画像を復元する画像処理装置。
  12. 前記演算装置は前記デコンボリューションの過程にCLSF(Constrained least square filter)を適用して前記観測画像を復元する、請求項8に記載の荷電粒子線装置の画像を復元する画像処理装置。
  13. 請求項1から7のいずれか一項に記載された荷電粒子線装置の画像をデコンボリューションして復元する方法を使って試料に対する観測画像を復元する、荷電粒子線装置。
  14. 前記荷電粒子線装置は光源として電子源またはイオン源を使用し、それぞれ電子ビームまたはイオンビームを前記試料に走査して前記試料から放出される信号を前記検出器で検出する、請求項13に記載の荷電粒子線装置。
  15. 請求項8から12のいずれか一項に記載された画像処理装置を含む、荷電粒子線装置。
  16. 前記荷電粒子線装置は光源として電子源またはイオン源を使用し、それぞれ電子ビームまたはイオンビームで試料を走査して前記試料から放出される信号を前記検出器で検出する、請求項15に記載の荷電粒子線装置。
JP2022130753A 2021-10-07 2022-08-18 荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置 Active JP7401613B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210133534A KR102635483B1 (ko) 2021-10-07 2021-10-07 하전입자선 장치의 영상을 디컨볼루션하여 복원하는 방법, 영상 처리 장치 및 영상 처리 장비를 구비한 하전입자선 장치
KR10-2021-0133534 2021-10-07

Publications (2)

Publication Number Publication Date
JP2023056474A true JP2023056474A (ja) 2023-04-19
JP7401613B2 JP7401613B2 (ja) 2023-12-19

Family

ID=85798580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022130753A Active JP7401613B2 (ja) 2021-10-07 2022-08-18 荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置

Country Status (3)

Country Link
US (1) US20230109872A1 (ja)
JP (1) JP7401613B2 (ja)
KR (1) KR102635483B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038362A (ja) * 2002-07-01 2004-02-05 National Institute Of Advanced Industrial & Technology 電子顕微鏡観察像の画像処理方法および画像処理プログラム並びに記録媒体
JP2011030911A (ja) * 2009-08-05 2011-02-17 Dainippon Printing Co Ltd Cnr測定装置,方法及びコンピュータプログラム
JP2013246062A (ja) * 2012-05-28 2013-12-09 Hitachi High-Technologies Corp パターン検査装置およびパターン検査方法
JP2014116207A (ja) * 2012-12-10 2014-06-26 Hitachi High-Technologies Corp 荷電粒子線装置
US20170191945A1 (en) * 2016-01-01 2017-07-06 Kla-Tencor Corporation Systems and Methods for Defect Detection Using Image Reconstruction
US20200294204A1 (en) * 2019-03-14 2020-09-17 Carl Zeiss Microscopy Gmbh Method for deconvolving image data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122946B2 (en) 2015-11-11 2018-11-06 Fei Company Method for detecting particulate radiation
JP6097863B2 (ja) 2016-05-16 2017-03-15 株式会社日立ハイテクノロジーズ 荷電粒子線装置、試料画像取得方法、およびプログラム記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038362A (ja) * 2002-07-01 2004-02-05 National Institute Of Advanced Industrial & Technology 電子顕微鏡観察像の画像処理方法および画像処理プログラム並びに記録媒体
JP2011030911A (ja) * 2009-08-05 2011-02-17 Dainippon Printing Co Ltd Cnr測定装置,方法及びコンピュータプログラム
JP2013246062A (ja) * 2012-05-28 2013-12-09 Hitachi High-Technologies Corp パターン検査装置およびパターン検査方法
JP2014116207A (ja) * 2012-12-10 2014-06-26 Hitachi High-Technologies Corp 荷電粒子線装置
US20170191945A1 (en) * 2016-01-01 2017-07-06 Kla-Tencor Corporation Systems and Methods for Defect Detection Using Image Reconstruction
US20200294204A1 (en) * 2019-03-14 2020-09-17 Carl Zeiss Microscopy Gmbh Method for deconvolving image data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S SHRUTHI ET AL.: ""Constrained least squares filtering followed by denoising of decomposed images using wave atom and", PROCEDIA COMPUTER SCIENCE, vol. 115, JPN6023021948, 2017, pages 526 - 532, XP085212774, ISSN: 0005075260, DOI: 10.1016/j.procs.2017.09.110 *

Also Published As

Publication number Publication date
KR20230050181A (ko) 2023-04-14
KR102635483B1 (ko) 2024-02-08
JP7401613B2 (ja) 2023-12-19
US20230109872A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
Deng et al. X-ray ptychographic and fluorescence microscopy of frozen-hydrated cells using continuous scanning
Yücelen et al. Phase contrast scanning transmission electron microscopy imaging of light and heavy atoms at the limit of contrast and resolution
Pelz et al. Low-dose cryo electron ptychography via non-convex Bayesian optimization
Erni Aberration-corrected imaging in transmission electron microscopy: An introduction
US8461527B2 (en) Scanning electron microscope and method for processing an image obtained by the scanning electron microscope
Wang et al. Electron ptychographic diffractive imaging of boron atoms in LaB6 crystals
JPH10509817A (ja) 信号復元方法および装置
US11120968B2 (en) High speed/low dose multi-objective autonomous scanning materials imaging
Hwang et al. Towards the low-dose characterization of beam sensitive nanostructures via implementation of sparse image acquisition in scanning transmission electron microscopy
JPWO2005114693A1 (ja) 電子顕微方法およびそれを用いた電子顕微鏡
Zotta et al. The determination and application of the point spread function in the scanning electron microscope
Hujsak et al. High speed/low dose analytical electron microscopy with dynamic sampling
Friedrich et al. Phase object reconstruction for 4D-STEM using deep learning
EP3979297A1 (en) Depth reconstruction for 3d images of samples in a charged particle system
JP5431169B2 (ja) 電子顕微鏡及びデフォーカス偏差又は解像限界の測定方法
Lobato et al. Deep convolutional neural networks to restore single-shot electron microscopy images
JP2023056474A (ja) 荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置
WO2019246478A1 (en) Systems and methods for interferometric multifocus microscopy
Skorikov et al. Analysis of 3D elemental distribution in nanomaterials: Towards higher throughput and dose efficiency
US20230260085A1 (en) Systems and methods for hybrid enhancement of scanning electron microscope images
Hujsak Computational Electron Microscopy for the Characterization of Soft, Hard, and Hybrid Materials
Deng et al. Opportunities and limitations for combined fly-scan ptychography and fluorescence microscopy
JP2012142299A (ja) 走査型荷電粒子顕微鏡装置および走査型荷電粒子顕微鏡装置で取得した画像の処理方法
Lomholdt Quantifying Interpretability and Structural Differences in Atomic Resolution Electron Microscopy Images
Oho et al. Technology for Fundamental Improvement of an Extremely Low‐Quality Video Signal for Use in Fine Focusing and Astigmatism Correction in Scanning Electron Microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150