JP2022528751A - 4d stemを用いて元素組成を判定するシステム、装置、および方法 - Google Patents

4d stemを用いて元素組成を判定するシステム、装置、および方法 Download PDF

Info

Publication number
JP2022528751A
JP2022528751A JP2021560342A JP2021560342A JP2022528751A JP 2022528751 A JP2022528751 A JP 2022528751A JP 2021560342 A JP2021560342 A JP 2021560342A JP 2021560342 A JP2021560342 A JP 2021560342A JP 2022528751 A JP2022528751 A JP 2022528751A
Authority
JP
Japan
Prior art keywords
brightfield
image
row address
row
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021560342A
Other languages
English (en)
Inventor
ベンジャミン、バメス
ロバート、ビルホーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Direct Electron LP
Original Assignee
Direct Electron LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Direct Electron LP filed Critical Direct Electron LP
Publication of JP2022528751A publication Critical patent/JP2022528751A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/244Detectors; Associated components or circuits therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/612Specific applications or type of materials biological material
    • G01N2223/6126Specific applications or type of materials biological material tissue
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/2441Semiconductor detectors, e.g. diodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/2446Position sensitive detectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/245Detection characterised by the variable being measured
    • H01J2237/24592Inspection and quality control of devices
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2802Transmission microscopes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2803Scanning microscopes characterised by the imaging method
    • H01J2237/2806Secondary charged particle
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2813Scanning microscopes characterised by the application
    • H01J2237/2817Pattern inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本開示は、生体物質の評価用の透過電子顕微鏡法に関する。実施形態によれば、本開示はさらに、4D STEMを用いてサンプルの構造および/または元素組成を識別する装置に関し、この装置は、グローバルシャッタ読み出しを用いて動作する直接衝撃検出器と、検出器画素要素の連続するアレイまたは不連続なアレイのいずれかを用いて複数の明視野ディスクの画像を取得して、画像内の歪みを補正し、明視野ディスクの重心に基づいて、複数の画像の中の各像を位置合わせし、画像の半径方向プロファイルを計算し、半径方向プロファイルを倍率により正規化し、明視野ディスクの回転平均化された縁の形状を計算し、試料のそれぞれの場所に対応する明視野ディスクの縁の形状の特徴に基づいて、試料内の元素組成を判定するよう構成されている処理回路と、を含む。

Description

関連出願の相互参照
本出願は2019年4月19日に出願された米国仮特許出願第62/836,555号の優先権を請求するものであり、その教示の全体があらゆる目的のために参照により本願に援用される。
政府支援に関する声明
本発明は、アメリカ合衆国エネルギー省科学局により授与された授与番号DE-SC0018493の下で政府からの支援を得てなされた。アメリカ政府は本発明に対して一定の権利を有している。
本開示は、走査型透過電子顕微鏡法および生体物質の評価に関する。さらに、本開示は、同期読み出しモードで動作するモノリシックアクティブ画素アレイセンサに関する。また、本開示は、圧縮センシング読み出しモードでのセンサの動作にも関連する。
過去数十年にわたって、光学蛍光顕微鏡法は数百ナノメートルの分解能で細胞を生物学的に観察する第一の方法であった。この手法では、細胞成分の位置を試料内で視覚的に特定できるように細胞成分を選択的に標識化するために、自家蛍光タンパク質、または小さな人工蛍光プローブを使用する。そのような特定の構造情報は、生物化学の発展にとって重要である。しかし、可視光の波長により光学蛍光顕微鏡法の分解能は200ナノメートルまでに制限される。超解像技術が蛍光色素標識の分解能をより高い分解能まで押し上げたが、光学顕微鏡法を用いて試料全体をナノメートルスケールの分解能で調査することは不可能である。したがって、膜の分離や巨大分子集合体の個々の場所を含む、多くの重要な細胞の特徴をはっきり見ることができない。
したがって、生物学的微細構造のより高い分解能(例えばナノスケール)での観察は、透過電子顕微鏡法(TEM)により容易にすることができる。しかし、より低い分解能の手法である光学蛍光顕微鏡法とは異なり、1枚の画像で異なる種類の細胞成分を標識化および識別する能力は、従来のTEMでは最低限度である。このように、TEMは、100倍に向上した分解能と機能的細胞成分を標識化および識別できないというトレードオフを示してきた。
この目的では、同じ試料へ適用する場合には光-電子相関顕微鏡(CLEM)と呼ばれる、光学蛍光顕微鏡法とTEMの組み合わせによりこの欠陥に対処することができるが、退屈であり、蛍光標識はいまだに低い分解能でしか視覚化できないという事実により制限されたままである。
近年の発展には「マルチカラーEM」が含まれるが、これはランタノイドイオンによるタグ付けを選択的に使用して電子エネルギー損失によりフィルタ処理し(EFTEM)、マルチカラー(多色)蛍光顕微鏡法と類似したデータを100倍まで向上した倍率で生成する。対象とするそれぞれのタンパク質または細胞領域に対して、特定のランタノイド金属(La+3、Ce+3、またはPr+3)を接合したジアミノベンジジン(DAB)を局所的に堆積することができて、ランタノイド金属の正確な場所は各要素での特徴的なコアロス端部で多数のEFTEM画像を収集して元素マップを得ることで識別される。この手法は新しい構造情報を明らかにすることを意図しているが、試料と相互作用して偶然特定の量のエネルギーを失う非常にわずかな一部の電子に依存するためにしばしば非効率である。さらに、それぞれの標識は別々の画像で取得する必要があり、従来のTEM明視野像も取得する必要がある。この手法はその非効率さにより退屈で、実行するのに時間がかかり、特に厚みのある細胞試料で一義的に解釈するのが難しいノイズの多い画像を作る。
走査型透過電子顕微鏡法(STEM)は、従来のTEM明視野イメージングおよびEFTEMイメージングに代わる選択肢である。試料の注目する領域全体に照射して画像データを収集するのではなく、STEMは試料の注目する領域全体のラスターに対して収束電子線を使用する。電子線と試料上の各ラスター点との相互作用を測定するのに様々な検出器が使用され、その結果、試料の画像が1つまたは複数枚生成される。こうした検出器は概してモノリシックであり、その結果、各検出器は単一の値、例えば資料により特定の角度範囲へ散乱される電子の個数を測定する。
最近、4次元STEM(4D STEM)が従来のSTEM法の拡張として開発された。4D STEMでは、モノリシック検出器が数千から数百万個の独立した検出素子で構成される画素アレイ検出器により置き換えられる、または補完されて、試料内の局所的電磁場や結晶歪みの解明を含む、より複雑な分析が可能となる。しかし、特に生物学で使用されるもののような比較的厚い試料において、現在の技術および方法のいくつかの欠陥のため、元素識別を4D STEMを用いて行うことはこれまで不可能だった。
まず、従来の電子用アクティブ画素アレイ検出器はローリングシャッタ読み出しモード(つまり、非同期のモード)でのみ動作し、アレイ全体の画素はわずかに異なる時刻で取得および読み出しがなされる。多くの検出器では、読み出しは画素アレイの行に対して順次進められる。ローリングシャッタ読み出しは高速で移動する物体や短時間の閃光での歪みの問題がある。例えば、ローリングシャッタはぶれ(wobble)、ゆがみ(skew)、空間的エイリアシングや時間的エイリアシングなどの影響を及ぼしうる。4D STEMでは、ローリングシャッタは重大な問題を引き起こす。ローリングシャッタ読み出しを用いると異なるグループの画素(行)のタイムスタンプは異なるため、画素アレイ全体(すべての行)の読み出しを試料上でのSTEMプローブの動きなどの単一の外部事象と同期させることは不可能である。
第二に、従来の電子用アクティブ画素アレイ検出器は、概して大きな試料領域の4D STEMデータを試料ドリフトの有害な影響なしに取得するには遅すぎる。ほとんどの画素アレイ検出器のフレームレートは、例えば、画素の中央部25%のみが読み出されるように各フレームで読み出す画素の個数を減少させることで向上させることができる。画素アレイの周辺部の画素のいくらかの部分を無視することでフレームレートが増加し、一方で、それにより実験で収集される散乱角の範囲が減少する。広範囲の散乱角を利用する4D STEM法では、速度を上げるために画素アレイで注目する領域をより小さく選択することは現実的ではない。
第三に、4D STEMでの既存の方法は、生物学用途で頻繁に用いられるもののような、厚く不均質な試料での元素組成に敏感ではない。STEMでの元素識別は、試料により大きな散乱角(高角暗視野領域と呼ばれる)で散乱される電子の個数に基づく単一の値である「Zコントラスト」により容易となる。Zコントラストは均一な原子コラムを有する結晶性試料を観察するのに効果的であるが、この簡易な測定基準を使用しても混合物の元素組成を識別することはできない。
本開示は、上記の現在の方法の欠陥に対処する方法を記載している。
前述の「背景技術」での記述は、概して本開示の背景を示すことが目的である。背景技術に記載している範囲内での本発明者の研究は、本来なら出願時に先行技術とみなされない可能性のある記述の側面と同様に、明示または黙示を問わず本発明に対する先行技術と認められない
本開示は、4D STEMを用いて元素組成を識別するシステム、装置、および方法に関する。
実施形態によれば、4D STEMを用いてサンプルの材料特性を判定する方法は、電子源からの電子線をサンプルへ向けて、検出素子アレイを含む電子検出器を用いてサンプルと相互作用する電子線の電子を検出し、電子検出器から、複数の明視野ディスクおよび検出された電子に基づく周囲の暗視野回折の画像を取得し、取得した複数の明視野ディスクおよび周囲の暗視野回折の画像に基づいてサンプルの元素組成を判定する、ことを含む。
実施形態によれば、電子顕微鏡を用いた圧縮読み出しの方法は、フレーム高さの中で取り得る行アドレスの最大数より少ない縮約された数(truncated number)の行アドレスとフレーム高さの第1セットを含む行アドレステーブルを生成し、行アドレステーブル中の縮約された数の行アドレスの各行アドレスを制御装置へ送信し、制御装置は電子源を制御して電子線をサンプルへ向けて検出素子アレイを含む電子検出器から電荷を読み出すよう構成され、電子検出器は電子線の電子を検出するよう構成され、送信された行アドレスに従って読み出しを行うよう制御装置を制御し、行アドレステーブル内の最後の行アドレスが読み出されたかどうかを判定し、行アドレステーブル内の最後の行アドレスが読み出されていないと判定されたら、行アドレステーブル内の次の行アドレスへポインタをインクリメントして、次の行アドレスに従って読み出すよう制御装置を制御し、行アドレステーブル内の最後の行アドレスが走査されるまで制御と判定を繰り返す、ことを含む。
実施形態によれば、サンプルの材料特性を判定するシステムは、衝突する電子からの電荷を電子信号へ変換するよう構成されている検出素子アレイを含む電子検出器と、検出素子アレイの各検出素子からの電子信号をグローバルシャッタモードで読み出すよう構成されている処理回路と、を含む。
前述の段落は概略紹介として提供されており、以下の請求項の範囲を制限することは意図していない。記載される実施形態は、更なる利点と共に、以下の詳細な説明を添付の図面と併せて参照することで最もよく理解されるであろう。
本開示および付随する利点の多くのより完全な理解は、本開示は添付の図面と関連して検討された場合に以下の詳細な説明を参照することでより良く理解されるため、容易に得られるであろう。
一例に基づく、荷電粒子を画像毎に検出するシステムを示す模式図である。
一例に基づく、モノリシックアクティブ画素アレイセンサ(MAPS)の断面を示す模式図である。
一例に基づく、前面照射(FSI)用の4トランジスタ(4T)型センサの単一画素の断面を示す模式図である。
一例に基づく、裏面照射(BSI)用の単一画素の断面を示す模式図である。
一例に基づく、システムによって撮影された例示の画像を示す模式図である。
図5Aの画像の各明視野ディスクの中心にある36画素幅の縦縞の画素強度プロファイルを示す模式図である。
一例に基づく、サンプルを観察する方法のフローチャートである。
一例に基づく、25%のサブサンプリングで取得したTEMビームストップの画像を示す。
一例に基づく、不明な行および4096×4096の全視野を含む、図10AのTEMビームストップの画像を示す。
一例に基づく、一つのフレームの圧縮読み出しモードの方法のフローチャートである。
一例に基づく、同一の行を有する多数のフレームの圧縮読み出しモードの方法のフローチャートである。
一例に基づく、一意の行を有する多数のフレームの圧縮読み出しモードの方法のフローチャートである。
一例に基づく、ミトコンドリア(左)および核膜(右)を標識化する試料の作製の模式図である。
一例に基づく、EFTEM法を用いたマルチカラー電子顕微鏡法(EM)の模式図である。
一例に基づく、4D走査型透過電子顕微鏡法(4D STEM)を用いたシングルショットマルチカラーEMの模式図である。
一例に基づく、4D STEMによる取得の間に撮影された画像である。
一例に基づく、4D STEMによる取得の間に撮影された画像の半径方向プロファイルのグラフィック表現である。
一例に基づく、4D STEMを用いて取得した画像を処理する方法のフロー図である。
一例に基づく、試料上の単一のプローブ位置における中心の明視野ディスクおよび周囲の暗視野領域を示す、4D STEMを用いて取得した一つのフレームの画像である。
一例に基づく、一次電子が電子の計数を行うほどには充分に疎ではないフレームの領域を示す疎性マップの画像である。
一例に基づく、フレームの疎な領域で電子の計数を行い、検出器における一次電子1つに対する平均画素値によりスケーリングした後のフレームの画像である。
一例に基づく、近くのプローブ位置を反映した明視野ディスクであって、明視野ディスクの位置および楕円歪みを判定するために楕円へ適合された明視野ディスクの画像である。
一例に基づく、試料上の各プローブ位置における明視野ディスクの全積分強度を用いた明視野の再構成画像である。
一例に基づく、明視野ディスクの外側でピクセル型検出器の端部までの全積分強度を用いた暗視野の再構成画像である。
一例に基づく、各画素が明視野ディスクの重心の振幅を表す、再構成画像である。
一例に基づく、各画素が明視野ディスクの重心の角度を表す、再構成画像である。
一例に基づく、EFTEMを用いたセリウムの元素マップの画像である。
一例に基づく、セリウムの場所および金の場所を有する明視野の再構成画像である。
本開示の例示の実施形態に係るシステムの構成要素を制御するコンピュータのハードウェアの描写である。
「a」または「an」という用語は、本明細書で使用される場合、1または1より多いと定義される。「複数(plurality)」という用語は、本明細書で使用される場合、2または2より多いと定義される。「別の(another)」という用語は、本明細書で使用される場合、少なくとも2つ目の、またはそれより多いと定義される。「含む(including)」および/または「有する(having)」という用語は、本明細書で使用される場合、「含む(comprising)」(つまり、オープン表現)と定義される。本書のあらゆる場所での「一実施形態(one embodiment)」、「特定の実施形態(certain embodiment)」、「実施形態(an embodiment)」、「実装(an implementation)」、「例(an example)」、または類似の用語への言及は、特定の特徴、構造、または実施形態に関連して記載された特性が本開示の少なくとも一つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたって様々な場所でのそのような表現の登場は、すべてが必ずしも同じ実施形態に言及しているわけではない。さらに、特定の特徴、構造、および特性は、制限されることなく任意の適した方法で1つまたは複数の実施形態に統合されうる。
細胞生物学者は、特定の領域へ移動する生細胞への標識を導入する、または生細胞自体を特定の反応物質、生成物、触媒などに付着させることができる。標識を選択的に見ることを可能とする観察法を用いることで、科学者は細胞体の構造/機能関係についての情報を集めることができる。透過電子顕微鏡法(TEM)は、生物学的な細胞の微細構造を観察する第一の方法である。しかし、より低い分解能の手法である蛍光顕微鏡法とは異なり、従来のTEMを用いて単一の画像で異なる種類の細胞成分を標識化および識別するのは不可能である。
マルチカラーEMのスループット、効率、および分解能を向上させるため、走査型透過電子顕微鏡法(STEM)に基づくマルチカラーEM法が本明細書に記載され、この手法では高速ピクセル型検出器を用いて、試料と相互作用するかなりの数の一次電子からの信号を捕捉する。
本開示は、実演用カメラ、およびSTEMに設置される同期型STEM走査装置を含むシステムについて記載する。このシステムを評価する際に、細胞ミトコンドリアマトリックスサンプルの4D STEMデータセットを収集することができて、ミトコンドリアはセリウムにより標識化することができて、金ナノ粒子を含む。回折図形の歪みを補正した後に、以下で詳細が説明されるように、セリウム標識および金ナノ粒子を識別するために測定基準を開発することができて、同時に、蛍光顕微鏡法を用いて可能なものよりかなり高い分解能で、以前のEFTEM法で可能なスループットおよび画像品質よりも著しく良いスループットおよび画像品質で試料の明視野像および暗視野像を生成することができる。
この手法で必要な感度を実現することには、ピクセル型検出器が一つの電子感度で非常に多くの画素(少なくとも512×512画素)を同期して(グローバルシャッタ)読み出した情報を伝えることが含まれる。生物学的な細胞観察には広い試料視野が必要となるので、ピクセル型検出器は、試料または顕微鏡内での不安定さが結果として生じるデータに有害なアーティファクトをもたらすより前に、試料の大部分を走査できるくらい高速である必要もある。
生物学的研究でのこの手法の適用範囲を押し広げるためには、大きな試料領域を妥当な時間内にごくわずかな試料ドリフトで観察できるように、はるかに高速の検出器が必要となる。
概して、本開示は電子顕微鏡において元素組成を識別する方法に関する。実施形態では、本開示は、収束電子線回折法(CBED)図形の詳細の分析に基づいて試料内の要素をピクセル型荷電粒子検出器を用いて識別し、CBED図形の詳細を記録する方法に関する。
実施形態では、本明細書に記載される方法は、4D STEMに基づく制御装置によって、または4D STEMの処理回路によって、直接行うことができる。
上述したことを実現するため、検出器に対する変更には、検出器がフレームと同期されるタイミングパルスの受信または生成のいずれかを行うことができるようにカメラのファームウェアを変更することが含まれる。カメラがマスターとして動作する場合、カメラは走査装置により受信されて走査装置を次のプローブ位置へと移動させるパルスを生成する。カメラは、パルス幅やフレーム読み出しの開始時間に対するパルスの正確なタイミングなどの制御が行うことができるように適応性を有している。また、カメラは、フレームの読み出しを開始するのに使用するパルスを走査装置から受信するスレーブモードで動作することもできる。適応性は、パルスの受信に対して読み出しが発生する正確な時間を調整するために存在する。検出器の変更には、グローバルシャッタ読み出しを可能にすることがさらに含まれる。設計によりセンサおよびファームウェアへもたらされたこの能力は、このモードをサポートするために開発されてカメラへ追加された。カメラのアーキテクチャは、任意の数の新しいタイミングシーケンスが開発されてファームウェアアップデートとしてカメラへ追加できるようになっている。カメラは、コマンドインタフェースを用いた動作モード間の切替をサポートしている。
ここで図面を参照すると、いくつかの図を通して類似の参照数字は同一または対応する部品を指し、以下の説明はモノリシックアクティブ画素アレイセンサ(MAPS)、MAPSを含むシステム、およびMAPSを使用する方法に関する。MAPSは同期読み出しモードで動作する。2次元(2D)画素アレイ全体でのMAPSの各画素の積分時間およびリセット時間は同時である。本明細書に記載されるように、「画素アレイ」は、検出素子のアレイを意味すると理解することもできる。
本明細書に記載されるMAPSは、従来のアクティブ画素アレイ直接衝撃荷電粒子検出器(ローリングシャッタ(非同期)読み出しモードのみで動作し、これは行が連続的に次から次へと(非同期的に)リセットおよび積分されることを意味する)とは対照的にグローバルシャッタモードで動作する。グローバルシャッタ検出器は、一つのプローブ位置から放出される電荷粒子の2D画像全体を不鮮明化するアーティファクトなしに撮影する手段を提供する。
また、画像全体を同時に積分することは、in-situ(その場での)電子顕微鏡法(EM)などの動きの速い状況の画像が記録される場合はいつでも、電荷粒子観察において有用である。
図1は、一例に基づく、荷電粒子を画像毎に検出するシステム100を示す模式図である。システム100はグローバルシャッタ(GS)読み出しモードを使用する。システム100は、モノリシックアクティブ画素アレイセンサ(MAPS)102、走査コントローラ104、処理回路106、および電子源108を含む。また、システム100はサンプル保持器(示されていない)も含みうる。ここでも、画素アレイは、検出素子のアレイであると理解することもできる。簡潔にするため、本明細書で「画素アレイ」と言及される。MAPS102は、荷電粒子線プローブの位置をMAPS102のフレームレートと同じ周波数で制御する同期信号を送信または受信することで走査コントローラ104と同期して動作する。したがって、走査コントローラ104はMAPS102のフレームレートに同期される。一枚の鮮明な回折画像が各プローブ位置、例えば走査型透過電子顕微鏡法(STEM)プローブの位置で記録される。グローバルシャッタは、STEMおよび走査型電子顕微鏡法(SEM)で、検出器のフレームが多数のビーム位置で混合してしまうことを防ぐのに有用である。
一実装では、フレームレートは、それぞれ2048×2048、1024×1024、512×512、256×256、128×128の対応する出力サイズを持つ、255fps、484fps、875fps、1470fps、または2227fpsでありうる。
一実装では、センサは256×256画素のグローバルシャッタ読み出し情報をおよそ20,000fpsで処理するよう構成される。この速度では、4096×4096の試料領域を14分未満で網羅することもできる。
走査コントローラ104はMAPS102を作動させられる、またはMAPS102により作動されうる、適応性がありプログラム可能な走査コントローラである。
グローバルシャッタ画素設計は、以下でさらに説明されるMAPS直接衝撃荷電粒子検出器で使用される。
MAPSはデータのリセットおよび取得を同時に行う。一実装では、各フレームの取得開始に対応するハードウェアトリガー信号がSTEM走査装置へ送信されて、正確に同期された高速4次元STEM(4D STEM)でのデータ取得が可能となる。
一実装では、システム100は透過電子顕微鏡法(TEM)システム(例えば、4D STEMまたはタイコグラフィの)システムとすることができる。グローバルシャッタ(GS)MAPSとプローブ位置コントローラの組み合わせにより、高速走査型プローブ荷電粒子線顕微鏡法が実現する。システム100は、本明細書で後述するように、200keVから1MeVのエネルギー領域のMAPSを含みうる。
一実装では、システム100は30keV未満のエネルギーで動作するMAPSを含みうる。例えば、システムはSEMシステム(例えば、電子後方散乱回折法(EBSD)、透過菊池回折法(TKD)、タイコグラフィ)とすることができる。
一実装では、システムはローリングシャッタのアーティファクトなしに動画を記録するためにin-situ顕微鏡法とすることができる。システム100は、MAPSを用いて120keV以上で動作するTEMシステムとすることができる。
MAPS検出器の放射線感度は最も重要であり、そのため簡易な画素設計がセンサ寿命を最大化するのに必要であると考えられてきた。こうした簡易な画素設計をもってしても、MAPS検出器は有限の寿命を持ち、使用期間後には交換が必要となる。一実装では、MAPS102は、センサ寿命を犠牲にすることなくグローバルシャッタを可能とする4トランジスタ(4T)型画素設計を有する。他の実装では、MAPS102は4トランジスタを超える画素を有しうる。
電子はMAPSデバイスの大きな体積を貫通するので、他のMAPSグローバルシャッタ実装は「漏れやすいシャッタ」の問題がありえて、これは次の積分時間の電荷が電荷収集/積分領域(ピン留めフォトダイオードまたはPPDと呼ばれることもある)から電荷蓄積領域(「センスノード」、「浮遊拡散層」、またはFDと呼ばれることもある)へ移動することができて、検出器の多数のフレーム間で付加的なノイズおよび/または時間的なぼやけが生じうることを意味する。電荷収集/積分領域(つまり、ピン留めフォトダイオード(PPD))に対する電荷蓄積領域(つまり、浮遊拡散層(FD))の面積は最小化される。FD領域とPPD領域の体積比を減少させることは、漏れやすいシャッタ問題を最小化するのに有益である。一実装では、MAPS102は体積比の削減をもたらす小さなFDを有する。小さなFDは低い静電容量につながり、ひいては高い電荷-電圧変換率につながる。
電子は金属層を通過するので、小さなFD容量は、第2電荷蓄積コンデンサを組み込んで開口率を犠牲にすることなくHDRモードを実現することで、克服される。一実装では、第2電荷蓄積コンデンサは金属-絶縁体-金属(MIM)コンデンサである。MIMコンデンサは、光子が含まれる場合にFDに対して金属製遮光体のように振る舞ってグローバルシャッタモードでのシャッタ効率を向上させるが、電子は遮断する。
MAPS102は、PPD用の大きな電荷空乏領域とFD用の小さな電荷空乏領域を有する。それゆえ、FDの有効体積は削減され、PPDの体積は最大化される。PPD用の大きな電荷空乏領域とFD用の小さな電荷空乏領域は、当業者には理解されるように、FDおよびPPDにそれぞれ関連する領域でのドーパントのレベルを制御することで実現される。例えば、FDの体積を削減するのに高度にドープしたpウェルが使用される。耐放射性が大きすぎることに対する潜在的な犠牲のために、当業者はこのようなことはしないかもしれないが、本発明者により認定されたように、PPD用の大きな電荷空乏領域とFD用の小さな電荷空乏領域は、耐放射性に最小限の影響を及ぼし、実験的試験で耐放射性がこの設計により影響を受けないことが示された。
100keV以上のエネルギー領域の電子は、前部通路から入ってエピタキシャルシリコン領域を完全に通過し、その全軌跡に沿って電荷が堆積される。100keV以上のエネルギー領域の電子は、本発明者により認定されたように、どこで電荷が生成されるかという点では青い光子よりも赤い光子のように振る舞う。30keV未満のエネルギーを有し、裏面から入る電子は、むしろ青い光子のように振る舞う。電子のエネルギーが減少するにつれて、エネルギーはMAPSの裏面のより近くに堆積される。これらのいずれのケースでも、FDの体積を最小化することは、センサに入射する電子により堆積された電荷がPPDではなくFDへ移動する可能性を減少させてシャッタ効率を改善する。
図2は、一例に基づく、MAPS102の断面を示す模式図である。PPD202は大きな面積と体積を有し、図2で204により示される、FD206に極めて近い領域を含む大きな領域からの電子を収集することが示されている。FD206は小さな空乏領域を有し、FD206に非常に近い体積(図2で208により示される)で作り出された電子のみを収集する。MM212への接点210は、漏れやすいシャッタ問題への寄与を最小化するために最小化される。
MAPS102の前面が図2で214により示されている。MAPS102の裏面が図2で216により示されている。領域218は、画素電子部品を構成するトランジスタおよび伝送路(interconnect)を作成するのに関わる、示されていない多くの層を含む。領域218に吸収される電子は、信号に寄与する伝導帯電子(光電荷)を作り出さない。エピタキシャルシリコン領域220(エピとも呼ばれる)は電荷を生成および収集する。エピタキシャルシリコン領域220の下には基板(示されていない)がある。
顕微鏡電子は、本明細書で後述されるように、前面214と裏面216のいずれかからデバイスへ入る。電子はエピタキシャルシリコン領域220内のシリコンと相互作用し、伝導帯電子を生成する。光子とは異なり、顕微鏡電子ははるかに大きなエネルギーを持ち、入射する各電子に対して多くの伝導帯電子を生成する。生成される伝導帯電子の個数は、システムの入射エネルギー(例えば顕微鏡電子)を含む多くの要因により決まる。
一実装では、蓄積領域は電荷積分領域の例えば5%未満、2.5%未満、または好ましくは1.25%未満に制限される。体積比は、例えば約1/200、1/400、または好ましくは1/800よりも大きい。シャッタ効率が完全に体積比によって決まる場合、センサは1/800の体積比に対して99.875%のシャッタ効率を有する。
一実装では、電荷蓄積領域は電荷積分領域の0.8%未満に制限される。体積比は約1/1200である。シャッタ効率が完全に体積比によって決まる場合、センサは99.92%のシャッタ効率を有する。
電子に対して、シャッタ効率は体積比とともに増減する。比はより大きな画素を使用することで最大化される。シャッタ効率は、体積比およびエピ領域内で光電荷が生成される可能性が高い場所に関する追加情報から推定することができる。推定値は、測定値と比較して仮定の妥当性を検査することができる。
図3は、一例に基づく、前面照射(FSI)用の4T型センサの単一画素300の断面を示す模式図である。30keVより大きい、好ましくは100keVより大きいエネルギーを有する電子は画素300の前面より入り、回路層302を通過して、エピ層304および基板306の至る所に電荷を堆積させる。基板306で生成された電荷は基板での高度なドーピングのために再結合し、測定される信号には寄与しない。エピ304で生成された電荷は、大部分がPPD308により収集される。
高エネルギー電子(典型的には100keVから1MeV超より大きい)に対して、本明細書で上述したようにFDのPPDに対する体積比を最小化するとともに、本発明者により認定されたように顕微鏡電子がエピ層304の全厚の至る所で光電荷を生成するという事実を活用することで、良好なシャッタ効率が実現される。エピ層304は、5ミクロンから18ミクロンの範囲の厚さを有する。さらに、基板は、裏面から数ミクロンから数十ミクロンの範囲におよびうる層を残して薄くされる。これにより、電子が基板内で後方散乱すること、およびエピ層へ再進入して電子が最初に入った場所から離れた領域で更なる電荷を堆積させることでノイズに寄与することが防がれる。
図4は、一例に基づく、裏面照射(BSI)用の単一画素400の断面を示す模式図である。30keV未満のエネルギーを有する電子に対して、裏面からの信号を導入することでより良い感度が実現される。画素400の製造方法は、従来のウェハをハンドル基板(handle wafer)へ接合し、センサから基板を取り除くことでエピの表面を露出させることを含む。
シリコン内の30keVを下回る範囲の電子の吸収長は、本発明者により認定されたように、1keVの電子に対して5ミクロンから1ミクロン未満のオーダーに入る。画素400は5~6ミクロンのエピ層と浅いFDを有する。BSIを用いた高いシャッタ効率は、生成された電荷キャリアがFDよりもむしろPPDへ拡散するために実現される。
一実装では、BSI MAPSはTEMシステムに含まれる。TEMはBSI検出を用いて60keV~120keVの範囲で動作する。
本明細書に記載されるMAPS102の能力を示すため、例示の結果が示されている。
センサのフレームレートと、走査コントローラ104により制御されるSTEMプローブの動きの間の同期を評価するため、走査コントローラ104はSTEMプローブに指示して空の試料領域と銅製格子棒の間を行ったり来たりさせた。センサ(つまりカメラ)のトリガ遅延は、明るいフレーム内(つまり、STEMプローブが空の試料領域の上にある場合)の明視野ディスクと暗いフレーム内(つまり、STEMプローブが銅製格子棒の上にある場合)の明視野ディスクの間の強度差分が最大化されるまで調整された。この工程はローリングシャッタ読み出しモードおよびグローバルシャッタ読み出しモードで繰り返される。
図5Aは、本明細書に記載されるシステムによって撮影された例示の画像を示す模式図である。TEMビームの位置は、センサのフレームレートと同期して空の試料領域と銅製格子棒の間で行ったり来たりした。画像502は、ビームがローリングシャッタ手法を用いて空の試料領域の上にあった際の明視野ディスクの画像である。画像504は、ビームが本明細書に記載されるグローバルシャッタ手法を用いて空の試料領域の上にあった際の明視野ディスクの画像である。画像506は、ビームがローリングシャッタ手法を用いて銅製格子棒の上にあった際の明視野ディスクの画像である。画像508は、ビームが本明細書に記載されるグローバルシャッタ手法を用いて銅製格子棒の上にあった際の明視野ディスクの画像である。
図5Bは、図5Aに示される画像の各明視野ディスクの中心にある36画素幅の縦縞の画素強度プロファイルを示す模式図である。画素に最良適合する線が実際のデータ点と交わるように示されている。画像でわかるように、ローリングシャッタモードは明るいフレームと暗いフレームの間の低減された強度差分と明視野ディスクで見える強度勾配を提示する。こうしたアーティファクトはローリングシャッタ読み出しモードではカメラのトリガ遅延設定に関わらず見ることができて、これはローリングシャッタ読み出しは常に2つのSTEMプローブ位置が混ざった状態を記録していることを示す。
線510は画像504の強度プロファイルに対応する。線512は画像502の強度プロファイルに対応する。線514は画像506の強度プロファイルに対応する。線516は画像508の強度プロファイルに対応する。
図5Bの線516で示されるように、グローバルシャッタ読み出しモードでは、明るいフレームと暗いフレームの間にごくわずかな強度があり、これは検出器からのフレーム読み出しがSTEMプローブの動きとうまく同期されていることを示す。各フレームは厳密に1つのSTEMプローブ位置に対応する。
図6は、一例に基づく、サンプルを観察する方法のフローチャートである。ステップ602で、電子線がサンプルへ向けられる。
ステップ604で、センサが準備される。センサは任意のピクセル型検出器とすることができるが、好ましくは直接電子検出器であり、さらに好ましくはグローバルシャッタ直接電子検出器である。グローバルシャッタ直接電子検出器は、本明細書で上述したように、裏面照射式MAPS102または前面照射式MAPS102とすることができる。センサはサンプルの下に置かれる。検出器は、サンプルを通過する電子を検出するよう構成されている多数の画素を含む。一実施形態では、センサは4096×4096画素を含む。別の実施形態では、センサは1024×1024を含む。
ステップ606で、MAPSのフレームが移動するプローブ、例えばSTEMプローブまたはSEMプローブと同期するようにデータが検出器からグローバルシャッタモードで読み出される。
ステップ608で、センサからの出力が記録装置および/または表示装置へ送られる。例えば、ユーザインタフェースは画像をユーザへ表示することができて、ユーザからの命令を受けることができる。
実施形態によれば、図7A~図7Cは画素アレイの行/列の読み出しをカスタマイズする方法、およびMAPS102での圧縮センシングに関連する。利点として、高められた感度、速度、分解能、および視野が挙げられる。
EM(例えば、シンチレータ結合、直接検出など)で用いられる相補型金属酸化膜半導体(CMOS)検出器では、カメラのフレームレートは第1次元、例えばY次元でのカメラの視野を減少させることで高めることができる。画像は複数の画素行を含むことがあり、行はY次元に沿って、例えば数値アドレスを用いてインデックス付けすることができる。一部の走査方法では、画像内の行のすべて、または一部を読むことでフレームを作ることができる。フレームは、カメラが行を順次読み出すことで作ることができる。行の読み出しは順次であるので、MAPS102がローリングシャッタ読み出しモードとグローバルシャッタ読み出しモードのいずれで動作しているかに関わらず、読み出される行の数を減少させることで、各フレームを読み出すのに必要な時間が減少し、その結果、カメラの最大フレームレートが高められる。こうした検出器は概して連続した行の読み出しを必要とするので、カメラから読み出される行の数を減少させることはカメラの視野を縮小する可能性もある。
本明細書に記載されるのは、視野全体で無作為に選択された行を読み、修復アルゴリズムまたは他の方法を使って不明情報を復元または考慮することで高フレームレートおよび大きな視野を提供して、前記の問題を軽減する方法である。また、この方法は、後続のフレームの取得で使用される行の選択を変更するのに画像の再構成から得られる情報が使用できるように、対象の走査範囲の判定に応じて選択される行またはカーネル行を速やかに変更することもできる。この方法のこの側面により、未知の画像内容に基づいてサブサンプリングを行うのに次善の行を選択してしまう可能性があるという問題を軽減しうる。
MAPS102は複数の行と列に配置されうる。多数の隣接する行を「カーネル行」へグループ化することができて、多数の隣接する列を「カーネル列」へグループ化することができる。センサ、または検出器の連続的に配置された行/列のサブアレイからすべての行/列を読む代わりに、多数の無作為に選択された不連続な任意の行/列が検出器から読み出されることがある。したがって、一部の行/列は無視されることがある。無視される行/列は、一定の画素値で読み出される、または検出器から出力される画像において省略される。場合によっては、見つからない画像情報は画像修復方法を用いた画像キャプチャ後に復元されることがある。この方法により、視野を縮小することなくフレームレートを高めることが可能となりうる。また、この戦略では個々の行または列の代わりにカーネル行またはカーネル列を使用することもある。これは、荷電粒子または光子を観察する圧縮センシング用途を可能とするのに有用である。
開示される方法により、情報をサブサンプリング、または疎にサンプリングした後にアルゴリズムを用いて不明情報を修復することで自然と可能になるものよりも高いフレームレートを、イメージングシステムで提供することができる。また、開示される方法は、意図する目的のために充分な情報量をなおも保持しながら送信する必要のあるデータ量を低減するのに利用することもできる。これは、例えば伝送帯域幅が制限される場合、データ記憶空間が制限される場合、またはその両方の場合に、有用となりうる。この手法は、動的処理が検討されている(高フレームレートが望まれる)場合にEM領域へ適用可能である。同様に、この手法は、高フレームレートまたはデータサイズの削減に関心がある任意のイメージング領域で有利となる可能性がある。
一部のサンプリング方法では、サブサンプリングは周期的であり、したがって修復には適していない(単に補間のみ)。さらに、周期的なサブサンプリングではサブサンプリング時に速やかに変更することができない可能性がある。つまり、取得を中断することなく新しい値が制御レジスタへ書き込まれて、取得が再開される。
実施形態では、サブサンプリングの走査コントローラ方法はイメージセンササブサンプリングと相補的である。両方の方法を組み合わせることは可能であり、更なるデータ削減とフレームレートの増加をもたらす。
図7Aは、一例に基づく、検出器上で25%のサブサンプリングで取得したTEMビームストップの画像を示す。実施形態では、カメラから読み出した情報が圧縮された4096×1024の画像である画像が取得されることがあり、フレームレートが4倍に高められる。より高いフレームレートでの観察の必要に応えるため、任意カーネル行アドレッシング(Arbitrary Kernel Row Addressing、AKRA)または任意行アドレッシング(Arbitrary Row Addressing、ARA)と呼ばれる、新しい、アンダーサンプリングされる圧縮読み出しモードを利用することができる。例えば、TEMビームストップの画像はAKRA読み出しモードで取得することができる。AKRA読み出しモードでは、ユーザは検出器から読み出す任意のカーネル行の組み合わせを、すべての他のカーネル行を省略しながら指定することができる。例えば、カーネル行は高さ方向に8つのビニングされていない画素を含みうる。ARA読み出しモードでは、個々の行を指定することができる。より少ない行を読み出すことで検出器のフレームレートを著しく高めることができるが、カーネル行はMAPS102全体に分散されているので、試料上の視野は縮小されないことがある。
図7Bは、一例に基づく、不明な行および4096×4096の全視野を含む、図7AのTEMビームストップの画像を示す。ここでも、図7Aの画像はAKRAモードで25%のサブサンプリングで取得することができて、図7Bはサブサンプリングされた画像を拡張したものを示す。用途に応じて、AKRA(またはARA)画像で「見つからない」画素は、修復アルゴリズムを用いて復元することができる、あるいは、各画像の座標が適切に考慮されている限りは読み出される実際の行から直接測定を行うことができる。カーネル行の選択は疑似乱数であるので、図7Aのビームストップのエッジは均一な階段のステップというよりむしろギザギザしており、図7Bの明帯はランダムに分布している。つまり、無作為なサンプリングは効果的な修復に最適である。
実施形態では、この動作モードを可能としうるMAPS102の設計の特徴として、(1)読み出しを行う行のアドレス指定の選択を可能とする、行(またはカーネル行)用のアドレス復号器と、(2)前記アドレス復号器が任意のアドレスを受信可能であること(行は任意の順番でアドレス指定可能であり、任意の数の行が省略される、またはグループで読み出される、など)と、(3)現在の行を読み出している間にアドレス指定される次の行を指定できるように、行アドレスをパイプライン方式でMAPS102へ送信可能とする高速インタフェース、が挙げられる。
実施形態では、連続的に走査されるフルサンプリング読み出し動作モードを可能としうるカメラの設計の特徴として、(1)各行(またはカーネル行)のアドレスを順番に含む、読み出し用のテーブルと、(2)テーブルの終端にある終端文字と、(3)テーブル内で進められるポインタと、(4)読み出される行の総数を含むレジスタ、が挙げられる。
実施形態では、一つのフレームのフルサンプリング読み出しモードには、読み出される行の総数(フレーム高さ)を使って行アドレスのテーブル内のポインタをインクリメントすることが含まれる。行毎にポインタがインクリメントされ、新しい行アドレスがカメラへ送信される。この手順はすべての行が読まれるまで続けられる。行の総数を超える前に終端文字に達したら、ポインタは行アドレステーブルの第1エントリへリセットされ、プロセスは行の総数に達するまで続けられる。この特徴は、本明細書で説明される圧縮読み出しを容易にするのに特に有利である。
実施形態では、ランダム行動作モード(圧縮モード)(上記のものと類似)を可能としうるカメラの設計の特徴として、(1)フルサンプリングモードまたは圧縮読み出しモードであることを知らせるプログラム可能ビット(レジスタ)と、(2)ユーザが読み出すために指定する各行(またはカーネル行)のアドレスを含むテーブルと、(3)値をテーブル(一連のレジスタ-テーブル位置と行アドレス)へ読み込む方法と、(4)テーブルに含まれる値を読む方法と、(5)テーブル終端の終端文字と、(6)テーブル内で進められるポインタと、(7)読み出される行の総数を含むレジスタ、が挙げられる。例えば、行アドレスは、任意の順番で指定される任意の行、すべての行、または最小で2つの行とすることができる。テーブル長はどうであってもよく、利用可能なメモリ量のみに制限されうる。例えば、64000個のアドレスを使用可能とすることができる。これは、上述した順次読み出しに使用される、高速切替用のものとは異なるテーブルである。
図8Aは、一例に基づく、一つのフレームの圧縮読み出しモードの方法のフローチャートである。ステップ1102で、レジスタは圧縮読み出しモードを実行するよう設定される。ステップ1104で、行アドレステーブルが読み込まれていない場合、方法はステップ1106へと進む。例えば、行アドレステーブルは任意の行アドレスおよびフレーム高さを含みうる。ステップ1106で、行アドレステーブルが読み込まれる。任意の行アドレステーブルが読み込まれている場合、方法はステップ1108へと進む。ステップ1108で、走査される行のアドレスがカメラまたは電子源へ送信される。ステップ1110で、カメラは送信された行を走査し、ポインタは行アドレステーブル内で走査される次の行へとインクリメントされる。ステップ1112で、フレーム高さが完全に走査されていない場合、方法はステップ1110へと戻り、次の行が走査される。フレーム高さが完全に走査された場合、方法はステップ1114へと進む。ステップ1114でフレームの終端に達し、走査は終了する。
表1は、図11Aに記載される圧縮読み出しモード方法用の任意の行アドレスの例を示す。
Figure 2022528751000002
図8Bは、一例に基づく、同一の行を有する多数のフレームの圧縮読み出しモードの方法のフローチャートである。ステップ1202で、レジスタは圧縮読み出しモードを実行するよう設定される。ステップ1204で、行アドレステーブルが読み込まれていない場合、方法はステップ1206へと進む。例えば、行アドレステーブルは任意の行アドレスとフレーム数を含むことができて、フレーム数に達するまで多数のフレームに対して同じ行アドレスが走査されることがある。ステップ1206で、行アドレステーブルが読み込まれる。任意の行アドレステーブルが読み込まれている場合、方法はステップ1208へと進む。ステップ1208で、走査される行のアドレスがカメラまたは電子源へ送信される。ステップ1210で、カメラは送信された行を走査し、ポインタは行アドレステーブル内で走査される次の行へとインクリメントされる。ステップ1212で、フレーム高さが完全に走査されていない場合、方法はステップ1210へと戻り、次の行が走査される。フレーム高さが完全に走査された場合、方法はステップ1214へと進む。ステップ1214でフレームの終端に達し、方法はステップ1216へと進む。ステップ1216で、フレーム数はデクリメントされ、ポインタは第1アドレス(つまり、走査される第1の行)へとリセットされる。ステップ1218で、フレーム数に達していない場合、方法はステップ1208へと進み、別の圧縮走査が行われる。フレーム数に達したら、走査は終了する。
表2は、図8Bに記載される圧縮読み出しモード方法用の任意の行アドレスの例を示す。
Figure 2022528751000003
図8Cは、一例に基づく、一意の行を有する多数のフレームの圧縮読み出しモードの方法のフローチャートである。ステップ1302で、レジスタは圧縮読み出しモードを実行するよう設定される。ステップ1304で、行アドレステーブルが読み込まれていない場合、方法はステップ1306へと進む。例えば、行アドレステーブルは任意の行アドレスと終端文字を含むことができて、フレーム数に達して各フレーム用の行アドレスが一意となるまで、多数のフレームに対して行アドレスが走査されることがある。終端文字は走査方法の最後を知らせるために利用することができて、終端文字に達するまで新しいフレームが走査される。ステップ1306で、行アドレステーブルが読み込まれる。任意の行アドレステーブルが読み込まれている場合、方法はステップ1308へと進む。ステップ1308で、走査される行のアドレスがカメラまたは走査装置へ送信される。ステップ1310で、カメラは送信された行を走査し、ポインタは行アドレステーブル内で走査される次の行へとインクリメントされる。ステップ1312で、フレーム高さが完全に走査されていない場合、方法はステップ1310へと戻り、次の行が走査される。フレーム高さが完全に走査された場合、方法はステップ1314へと進む。ステップ1314でフレームの終端に達し、方法はステップ1316へと進む。ステップ1316で、ポインタは次のフレーム(つまり、走査される第1の行)用の第1アドレスに設定される。第1アドレス、および次のフレーム用のすべてのアドレスは、以前走査されたフレームのアドレスとは異なることがある。図8Bの方法と比べると、この方法では各走査に同じテーブルを使用しない。むしろ、走査されるすべてのフレームに対して、各フレームが一意のアドレスを有する大きなテーブルを生成することができる、あるいは、各フレームが走査された後に新しいテーブルを生成することができる。ステップ1318で、行アドレステーブル内の終端文字に達していない場合、方法はステップ1308へと進み、別の圧縮走査が行われる。終端文字に達したら、走査は終了する。
表3は、図8Cに記載される圧縮読み出しモード方法用の任意の行アドレスの例を示す。

Figure 2022528751000004
STEMは生物試料の観察に使用されており、低い電子エネルギーで造影剤(染色剤)なしに観察を可能にするのに充分なコントラストを作ることを示してきた。また、STEMは極低温に冷却された試料と共に使用されてきた。
また、STEMに対して電子エネルギー損失分光法(EELS)およびエネルギー分散X線分光法(EDX、EDXS、EDS、XEDS)を含む分光法が開発された。これらの方法は、試料内に存在する要素の識別を可能とする。EELS、および関連する非STEMエネルギーフィルタTEM(EFTEM)イメージング法(EFTEMとも呼ばれる)は非常にわずかな一部の入射電子線を使用し、それゆえ非常に非効率的である。同様に、EDXは非常に非効率的である。この非効率性の結果が、有用な結果を得るためには試料を高レベルの電子照射に曝す必要があることである。第2の結果は、これらの測定は非常に時間がかかることがあり、大きな領域からデータを収集するには試料または顕微鏡の安定性は充分ではない可能性があるということである。
本発明の目的は、一回のSTEM走査で元素情報を収集する効率的な手段を提供することである。本発明の更なる目的は、元素マップを作るために試料が受けるビームの量を低減することである。本発明の更なる目的は、試料から、特にビームで損傷を受けやすい生物学的試料または他の試料の大きな領域から元素マップを作るのに必要な時間を低減することである。
従来のSTEMでは、専用の明視野(BF)検出器、環状暗視野(ADF)検出器、および高角環状暗視野(HAADF)検出器がデータ取得に使用され、典型的には試料上の走査座標1つに対して3つのデータ点がもたらされる。4D STEMでは、ピクセル型検出器が従来のSTEM検出器のすべて(場合によっては、おそらくHAADF検出器を除く)を置き換える。ピクセル型検出器は試料上の各走査位置に対する2次元像を撮影する。本開示ではカメラの大きな領域(1024×1024画素)が使用され、試料上の走査座標1つに対して100万を超える(1,048,576)画素がもたらされた。これは、従来のSTEMよりも6桁以上多いデータである。
ここで図9A~図9Cを参照すると、本開示はマルチカラーEM法用の作製方法を含む。
図9Aは、ミトコンドリア(左)および核膜(右)を標識化する試料の作製を示し、図9BはEFTEMによるマルチカラーEM法を示し、図9Cは一例に基づく、4D STEMを用いたシングルショットマルチカラーEMを示す。まず、黒鉛化炭素および島状の金を有する標準較正用グリッドを4D STEM用の初期テスト用試料として使用することができる。次に、Ce-DABで標識化した細胞ミトコンドリアマトリックスのサンプルと、四酸化ルテニウムと、30nmの金粒子をシングルショットマルチカラーEM法の開発および評価に使用することができる。生物試料の作製を示されているように行うことができる。
高速ピクセル型検出器は、走査型透過電子顕微鏡法(STEM)での取得中に画像と試料上の電子プローブ位置とが一対一に対応する一連の画像を撮影するのに使用することができる。
これより、方法について、図10および図11を考慮しながら図12を参照して説明する。
取得した明視野ディスクの画像は概して、疎な電子事象(「暗視野領域」)により囲まれた強烈なディスク(「明視野ディスク」)を特徴とする。そのようなデータセットにおける典型的な画像が図10に示される。ステップ1502で、明視野ディスクの画像を取得することができる。
電子顕微鏡内での微妙な位置ずれ、または収差によって、明視野ディスクが1つの画像から次の画像の間で位置がずれることがあり、同様に明視野ディスクが歪められることがあり、その結果、完全に円形とはならない。これらのずれ、および歪みにより、各データセット内の異なる画像における明視野ディスクの分析および比較においてエラーがもたらされることがある。
それゆえ、これらのずれ、および歪みは、データセット内のすべての画像における明視野ディスクが全体的な形状および各画像内の位置において一貫性があるように、補正することができる。
ふたたび図12およびステップ1504を参照すると、ずれおよび歪みを補正するために、各画像に閾値を適用することで明視野ディスクを2値化することができる。ステップ1506で、試料の複数の局所的領域に対応するいくつかの画像からの明視野ディスクを(加算または平均化により)結合して、ノイズまたは試料によって引き起こされた歪みを低減することができる。そしてステップ1508で、明視野ディスクの縁に楕円を適合させることができて、幾何学的歪みが標準的な歪み補正方法を用いて補正される。次に、データセット内の各画像(または画像群)の2値化された明視野ディスクの重心がデータセット内のすべての画像で同じ位置となるように、原画像のそれぞれに線形変換を適用することができる。
ステップ1510で、ずれと歪みが補正された、データセット内の各画像の半径方向プロファイルが計算される。ステップ1512で、データセット内の補正された各画像の半径方向プロファイルは明視野ディスクの平均強度(つまり、ゼロ点近辺の半径方向プロファイルの値)もしくは暗視野領域の平均強度(つまり、最大半径における半径方向プロファイルの値)、またはこの2つの組み合わせにより正規化することができる。
明視野ディスクの平均強度により正規化された例示の半径方向プロファイルが図11に示されている。
各画像に対して、各画像の明視野ディスクの縁の形状の特徴を、同じ系列の各画像での縁の形状を比較して類似点で分類することができるように、判定することが目標である。一実施形態では、4D STEMデータスタック内の各画像は、明視野ディスクの縁の形状の平均勾配に応じて分類される。別の実施形態では、4D STEMデータスタック内の各画像は、明視野ディスクの縁の形状の最大勾配に応じて分類される。別の実施形態では、4D STEMデータスタック内の各画像は、明視野ディスクの縁の形状を特定の元素組成に対する縁の形状の理論的または経験的に導かれたモデルと比較することで分類される。別の実施形態では、4D STEMデータスタック内の各画像は、明視野ディスクの縁の形状を用いて機械学習手法により分類される。
上述したように、ステップ1514で、各画像に対して明視野ディスクの縁における正規化された半径方向プロファイルの勾配を算出することができる。そして、ステップ1516で、各画像での勾配は試料上のそれぞれの対応位置を特徴づけるのに使用することができる。これは、試料上の各点における勾配の値を使って再構成された試料の画像を作ることで、または、試料上の各位置を標識化するために勾配の値をいくつかの離散的なグループに分類することのいずれかにより行うことができる。
実施形態によれば、明視野ディスクの勾配をデータセット内の画像の他の情報、例えば暗視野領域の一部またはすべての全強度や平均強度などと結合することもできる。
実施形態によれば、各画像における暗視野領域の信号対雑音比(SNR)を向上させるために、暗視野領域におけるそれぞれの「塊(blob)」が強度および/または大きさで正規化されるように電子の計数アルゴリズムを疎な暗視野領域に適用することができる。
ふたたび図12を参照すると、MAPS102は、走査型透過電子顕微鏡法(4D STEM)において明視野(BF)ディスクとしても知られる、収束電子線回折法(CBED)図形の画像を取得するのに使用される。さらに、検出器はBFディスクの周りの暗視野から情報を取得する。
CBED図形/BFディスクで頻繁に発生する楕円歪みを補正するため、データセット全体にわたって、またはプローブ位置毎に、個々のフレームまたは多数のフレームの組み合わせのいずれかにおいて、CBED図形/BFディスクの縁に楕円または他の形状を適合させることができて、この適合は、回転平均を算出できるように画像を歪ませて円形ディスクを作り出すのに使用される、あるいは、楕円または他の形状に続く平均を直接算出するのに使用される。
半径方向平均を平均化または計算する前に、プローブ位置毎に発生しうるCBED図形/BFディスクの中心位置の変動を補正するため、位置合わせステップを使って中心を同じ座標へ登録することができる。この位置合わせステップは、BFディスクの重心を見つけることからなりうる。
光軸からBFディスクの縁を越えて暗視野領域へと広がる、CBED図形/BFディスクの回転プロファイルは、各フレームまたは複数のフレームの組み合わせに対して計算することができる。回転プロファイルは、CBED図形/BFディスクの平均強度などの倍率により正規化することができる。
回転平均化されたCBED図形/BFディスクの縁の形状の勾配を算出して、それ自体で、または他の情報、例えば、暗視野の強度、明視野の強度、またはBFおよびDFから導かれる他の値などと共に、各プローブ位置における試料の特性を判定するのに使用することができる。
この方法は、4D STEM(シングルショットマルチカラーEM)を用いて試料の元素組成を識別するのに有用である。半径方向プロファイルの形状に基づいて試料の元素組成を識別する他の方法には、(1)平均二乗差分、動的時間伸縮法、またはフレシェ距離を用いて明視野ディスクの縁の半径方向プロファイルを類似点で分類することと、(2)K平均法または他の機械学習分類方法により明視野ディスクの縁の半径方向プロファイルを分類することと、(3)明視野ディスクの縁の半径方向プロファイルを様々な要素の半径方向プロファイルの特徴の辞書と比較すること、を含みうる。
図13Aから図16Dは、一例に基づく、MAPS102からの4D STEMデータの分析の例示の図である。図13Aは、試料上の一つのSTEMプローブ位置における中心の明視野ディスクおよび周囲の暗視野領域を示す、検出器からのシングルである。画素数は、一次電子が電子の計数を行うほどには充分に疎ではないフレームの領域を示す、図13Bに示される「疎性マップ」を計算するために、各フレームの近隣での一次電子事象に対する閾値として使用することができる。各フレームの疎な領域で電子の計数を行った後に、各フレームの疎ではない領域を検出器における一次電子1つに対する平均画素値でスケーリングすることができる。結果として生じるフレームは、図13Cに示されるように電子計数・積分モードのデータの混成物であり、信号対雑音比が最適化される。近くのSTEMプローブ位置における明視野ディスクは平均化されて、図13Dに示されるように明視野ディスクの位置および楕円歪みを判定するために楕円に適合される。そして、これに基づいて環状積分を行うことができる。
図14Aから図14Dは、一例に基づく、黒鉛化炭素の4D STEM再構成の例示の図である。図14Aは、試料上の各プローブ位置における明視野ディスクの全積分強度を用いた明視野の再構成である。図14Bは、明視野ディスクの外側でピクセル型検出器の端部までの全積分強度を用いた暗視野の再構成である。図14Cは、各画素が明視野ディスクの重心の振幅を表す、再構成である。一次電子が好ましい散乱方向を有する試料位置において、重心の振幅は大きくなる。同様に、図14Dは、各画素が明視野ディスクの重心の角度を表す、再構成である。赤は0°(右向き)に対応する。
図15および図16は、一例に基づく、本開示の4D STEMシステムを使用した非限定的な例示の結果を提供する。
例示の実施形態では、セリウム-DAB、四酸化ルテニウム、および30nmの金粒子で標識化した細胞ミトコンドリアマトリックスのサンプルを使用することができる。EFTEMは4D STEMベースの新しい手法の検証の基準として使用することができる。EFTEMは、300kVで動作し、インカラム方式Ω形フィルタおよびLaB6電子源を備えたJEM-3200EF TEM(JEOL(日本電子株式会社)、日本)を用いて行われた。
前端および後端のEFTEM画像は、30eV幅のスリットを用いて得ることができる。従来の明視野TEM画像およびEFTEM元素マップは、従来のCCDカメラを用いて得ることができる。その結果、元素マップを生成することができた。
STEMイメージングは、300kVで動作し、明視野およびHAADF STEM検出器、ならびに大電流XFEG電子源を備えたTitan Halo(Thermo Fisher、マサチューセッツ州Waltham)を用いて行われた。4D STEMデータは、DE-FreeScan STEM走査装置(Direct Electron)とのハードウェアフレーム同期を備えたDE-16直接検出カメラ(Direct Electron)で150mmのカメラ長さでスポットサイズ8を用いて取得された。DE-FreeScanは、任意の、またはサブサンプリングされた走査図形を使ってSTEMデータを取得することができるが、従来のフルラスター走査モードで作動された。DE-16は342フレーム/秒(fps)で作動され、ハードウェアビニングは行われず、読み出し領域は1024×1024画素であった。4D STEMデータは新しく開発された、GPUアクセラレーションされるDE-4DExplorerソフトウェア(Direct Electron)を用いて処理された。簡潔に言うと、ソフトウェアはディスクから4D STEMデータスタックを読み込んで、標準のフラットフィールド(暗さおよびゲイン)補正を行う。続いて、ソフトウェアは、画素ごとの一次電子の数が電子の計数を使って処理するのに充分少ないフレームの領域に対応するバイナリマスクである疎性マップをフレームごとに計算する。疎性マップに基づいて、ソフトウェアは疎な領域に対して電子の係数を行い、一次電子1つに対する平均画素強度に基づいて疎ではない領域の強度をスケーリングする。したがって、最後に処理が行われたフレーム内の画素強度は、各フレーム内の各画素に入射する一次電子の実際の数にほぼ相当する。
このデータを用いて、4D STEM分析は回折中心から検出器端部までのすべてのありうる環状ディスク内の積分強度(一次電子の総数)を算出することで完了した。しかし、明視野ディスクは我々のピクセル型検出器の中心に正確には位置していなかった(つまり、中心が異なるSTEMプローブ位置でわずかに動き、BFDがわずかな楕円率を有していた)。これらの回折歪みを補正するため、明視野ディスクは試料上の16×16 STEM画素領域で平均化されて、平均明視野ディスクの縁に楕円が適合された。そして、各フレームに対して明視野ディスクが翻訳的に位置合わせされて、その楕円率は、試料の復元物を生成するための更なる処理を行う前に補正された。
回折図形の歪みを補正した後に、セリウム標識と金ナノ粒子が半径方向散乱プロファイルに基づいて識別された。例えば、半径方向散乱プロファイルは、すべての試料画素の散乱プロファイルが一致して始まるように、平均明視野信号によって正規化することができる。次に、各散乱プロファイル曲線の環状明視野部分および暗視野部分を一次方程式に適合させることができる。そのような適合された一次方程式のパラメータを使って、試料画素を4つの異なるグループへ分類するためにK平均法を実行することができる。結果は図15に示されるEFTEMの結果に類似していたが、4D STEMの結果は図16にあるようにより高いコントラストを示した。また、同じデータを使って、蛍光顕微鏡法を用いて可能なものよりも大幅に高い分解能で試料の明視野像と暗視野像を同時に生成することができた。これらの再構成のすべては一回のSTEM取得から生成されたので、4D STEMをベースとするマルチカラーEM法は、以前のEFTEMをベースとするマルチカラーEM法で可能なものよりも大幅に良好なスループットを有する。
次に、例示の実施形態に係る制御装置のハードウェアについて図17を参照して説明する。図17で、制御装置は上述したプロセスを実行するCPU2000を含む。プロセスデータおよび命令はメモリ2002に記憶することができる。また、これらのプロセスおよび命令は、ハードドライブ(HDD)や携帯型記憶媒体などの記憶媒体ディスク2004に記憶することもできる、あるいは遠隔で記憶することもできる。さらに、特許請求される進歩は、発明のプロセスの命令が記憶されるコンピュータ可読媒体の形態に限定されない。例えば、命令は、CD、DVD、フラッシュメモリ、RAM、ROM、PROM、EPROM、ハードディスク、または、制御装置が通信を行うサーバやコンピュータなどの任意の他の情報処理装置に記憶することができる。
さらに、特許請求される進歩は、CPU2000およびオペレーティングシステム、例えばマイクロソフトのWindows 10、UNIX、Solaris、Linux、アップルのmacOS、または当業者には既知の他のシステムと共に実行される、ユーティリティアプリケーション、バックグラウンドデーモン、オペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供することができる。
制御装置を実現するために、ハードウェア要素は当業者には既知である様々な回路要素により実現することができる。例えば、CPU2000はアメリカのインテルのXenonプロセッサもしくはCoreプロセッサ、またはアメリカのAMDのOpteronプロセッサとすることができる、あるいは、当業者に認識されているであろう他のプロセッサ種類とすることができる。あるいは、CPU2000は、FPGA、ASIC、またはPLD上に実装することができる、あるいは、当業者が認識しているであろうディスクリートの論理回路を用いて実装することができる。さらに、CPU2000は、協調的に並列で動作して上述した本発明のプロセスの命令を実行する多数のプロセッサとして実装することができる。
また、図17の制御装置は、ネットワーク2050との接続のためにネットワークコントローラ2006、例えばアメリカのインテルのインテルイーサネットPROネットワークインタフェースカードも含む。理解できるように、ネットワーク2050は、インターネットなどの公共ネットワーク、LANやWANなどのプライベートネットワーク、またはそれらの任意の組み合わせとすることができる、あるいはPSTNやISDNのサブネットワークを含むこともできる。また、ネットワーク2050はイーサネットネットワークなどのように有線接続することもできる、あるいはエッジ、3G、4Gの無線セルラーシステムを含むセルラーネットワークなどのように無線とすることができる。また、無線ネットワークはWiFi、ブルートゥース、または、任意の他の既知の無線通信形態とすることもできる。
制御装置はさらに、ヒューレットパッカードのHPL2445w LCDモニタなどの表示装置2010と接続するための、アメリカのNVIDIAのNVIDIA GeForce GTXもしくはQuadroグラフィックスアダプタなどのディスプレイコントローラ2008を含む。汎用I/Oインタフェース2012は、キーボードおよび/またはマウス2014、および表示装置2010上の、または表示装置2010とは分離されたタッチパネル2016と接続される。また、汎用I/Oインタフェース2012は、電子顕微鏡法に適した任意の周辺機器を含む多種多様な周辺機器2018とも接続する。
また、CreativeのSound Blaster X-Fi Titaniumなどのサウンドコントローラ2020が制御装置内に提供されてスピーカ/マイク2022と接続されることで、音声および/または音楽を提供する。
汎用ストレージコントローラ2024は、制御装置の構成要素のすべてを相互接続するための、ISA、EISA、VESA、PCI、または類似のものでありうる通信バス2026に記憶媒体ディスク2004を接続する。表示装置2010、キーボードおよび/またはマウス2014、ならびに、ディスプレイコントローラ2008、ストレージコントローラ2024、ネットワークコントローラ2006、サウンドコントローラ2020、および汎用I/Oインタフェース2012の一般的な特徴および機能の説明は、これらの特徴は既知であるため、本明細書では簡潔とするために省略される。
記載されるシステムおよび方法は以下のように要約される。
一実施形態では、試料の構造および/または元素組成を判定する第1システムは、電子線をサンプルへ向けるよう構成されている電子源と、検出素子アレイからなる電子検出器と、検出器からの各画像が外部事象と同期されるようにグローバルシャッタ読み出しを用いて電子検出器から画像を取得するよう構成されている処理回路と、を含む。
前記実施形態で、第1システムはさらに、プローブとしてサンプルの上で電子線を走査するよう構成されている回路からなる。
前記実施形態で、電子源および電子検出器は透過型電子顕微鏡(TEM)の一部である。
前記実施形態で、電子源および電子検出器は走査型透過電子顕微鏡(STEM)の一部である。
前記実施形態で、電子源および電子検出器は走査型電子顕微鏡(SEM)の一部である。
前記実施形態で、電子検出器は、衝突する電子からの電荷を電子信号へ直接変換するよう構成されている画素アレイを含む。
前記実施形態で、電荷積分に関連する空乏領域の体積比は、センスノードに関連する空乏領域の800倍大きい。
前記実施形態で、センスノードの面積は電荷積分領域の面積の1.25%以下である。
前記実施形態で、電子検出器は、電子が電子検出器に衝突した際にシンチレータにより作られる光を検出するよう構成されている画素アレイを含む。
前記実施形態で、電子検出器は前面照射モノリシックアクティブ画素アレイセンサである。
前記実施形態で、電子検出器は裏面照射モノリシックアクティブ画素アレイセンサである。
前記実施形態で、電子検出器はハイブリッド画素アクティブ画素アレイセンサである。
前記実施形態で、電子検出器は、電子信号の積分の開始と電子信号の積分の終わりがすべての画素に対して正確に同じであるように動作する。
前記実施形態で、検出器の乱数部分は読み出されない。
前記実施形態で、検出器の疑似乱数部分は読み出されない。
前記実施形態で、検出器の周期的な部分は読み出されない。
別の実施形態では、試料の構造および/または元素組成を判定する第2システムは、電子線をサンプルへ向けるよう構成されている電子源と、検出素子アレイからなる電子検出器と、検出器から不連続な部分を読み出すよう構成されている処理回路と、を含む。
前記実施形態で、電子源および電子検出器は透過型電子顕微鏡(TEM)の一部である。
前記実施形態で、電子源および電子検出器は走査型透過電子顕微鏡(STEM)の一部である。
前記実施形態で、電子源および電子検出器は走査型電子顕微鏡(SEM)の一部である。
前記実施形態で、電子検出器は、衝突する電子からの電荷を電子信号へ直接変換するよう構成されている画素アレイを含む。
前記実施形態で、電子検出器は、電子が電子検出器に衝突した際にシンチレータにより作られる光を検出するよう構成されている画素アレイを含む。
前記実施形態で、電子検出器は前面照射モノリシックアクティブ画素アレイセンサである。
前記実施形態で、電子検出器は裏面照射モノリシックアクティブ画素アレイセンサである。
前記実施形態で、電子検出器はハイブリッド画素アクティブ画素アレイセンサである。
前記実施形態で、電子検出器はグローバルシャッタ読み出しを用いて動作する。
前記実施形態で、電子検出器はローリングシャッタ読み出しを用いて動作する。
前記実施形態で、検出器の乱数部分は読み出されない。
前記実施形態で、検出器の疑似乱数部分は読み出されない。
前記実施形態で、検出器の周期的な部分は読み出されない。
前記実施形態で、検出器の不連続な部分は読み出されず、不明情報は画像処理ステップの間に修復される。
前記実施形態で、検出器の不連続な部分は読み出されず、不明情報は画像処理ステップの間に無視される。
別の実施形態では、4D STEMを用いて試料の構造および/または元素組成を判定する第3システムは、電子線をサンプルへ向けるよう構成されている電子源と、プローブとしてサンプルの上で電子線を走査するよう構成されている回路と、検出素子アレイからなる電子検出器と、電子検出器から、複数の明視野ディスクおよび周囲の暗視野回折の画像を取得し、補正された画像の半径方向プロファイルを計算し、半径方向プロファイルを倍率により正規化し、明視野ディスクの縁における半径方向プロファイルの形状を特徴づけて、各画像の明視野ディスクの縁における半径方向プロファイルに基づいて元素組成を判定する、よう構成されている処理回路と、を含む。
前記実施形態で、検出器は、検出器からの各画像がSTEMプローブの動きと同期されるように、グローバルシャッタ読み出しを用いて作動される。
前記実施形態で、検出器の不連続な部分は読み出されず、不明情報は画像処理ステップの間に修復される。
前記実施形態で、検出器の不連続な部分は読み出されず、不明情報は画像処理ステップの間に無視される。
前記実施形態で、第3システムはさらに、楕円を明視野ディスクに適合させることで画像内の幾何学的歪みを補正するステップを含む。
前記実施形態で、第3システムはさらに、明視野ディスクの重心に基づいて、複数の画像の各明視野ディスク像を位置合わせするステップを含む。
前記実施形態で、第3システムはさらに、明視野ディスクの縁の幾何学的中心に基づいて、複数の画像の各明視野ディスク像を位置合わせするステップを含む。
前記実施形態で、第3システムはさらに、補正された画像の半径方向プロファイルを計算するステップを含む。
前記実施形態で、第3システムはさらに、明視野ディスクの平均強度により半径方向プロファイルを正規化するステップを含む。
前記実施形態で、第3システムはさらに、暗視野領域の平均強度により半径方向プロファイルを正規化するステップを含む。
前記実施形態で、第3システムはさらに、明視野ディスクと暗視野領域の両方の平均強度の組み合わせにより半径方向プロファイルを正規化するステップを含む。
前記実施形態で、半径方向プロファイルの形状は、明視野領域と暗視野領域の間の遷移部の半径方向プロファイルの勾配により特徴づけられる。
前記実施形態で、半径方向プロファイルの形状は、異なる画像における明視野領域と暗視野領域の間の遷移部の複数の半径方向プロファイルの間の相似性により特徴づけられる。
前記実施形態で、半径方向プロファイルの形状は、明視野領域と暗視野領域の間の遷移部の縁の形状と縁の形状の既存モデルとの類似点により特徴づけられる。
明らかに、多くの変更および変形が上記の教示を踏まえて可能である。それゆえ、添付の請求項の範囲内で、本発明を本明細書に具体的に記載されたのとは他の形で実践することができる。
また、本開示の実施形態は以下の補足にも記載されうる。
(1)4D STEMを用いてサンプルの材料特性を判定する方法であって、電子源からの電子線をサンプルへ向けて、検出素子アレイを含む電子検出器を用いてサンプルと相互作用する電子線の電子を検出し、電子検出器から、複数の明視野ディスクおよび検出された電子に基づく周囲の暗視野回折の画像を取得し、取得した複数の明視野ディスクおよび周囲の暗視野回折の画像に基づいてサンプルの元素組成を判定する、ことを含む、方法。
(2)取得した画像内の歪みを補正することをさらに含む、(1)の方法。
(3)取得した複数の明視野ディスクおよび周囲の暗視野回折の画像に基づいてサンプルの元素組成を判定することは、歪みが補正された取得画像の半径方向プロファイルを計算して、半径方向プロファイルを倍率により正規化し、明視野ディスクの縁の半径方向プロファイルの形状を判定して、明視野ディスクの縁における半径方向プロファイルの形状に基づいて、元素組成を判定する、ことをさらに含む、(2)の方法。
(4)取得した画像内の歪みは幾何学的であり、幾何学的歪みを補正することは、明視野ディスクに楕円を適合させる、ことを含む、(2)または(3)の方法。
(5)半径方向プロファイルは明視野ディスクの平均強度に基づいて正規化される、(3)の方法。
(6)検出することは、電子検出器をグローバルシャッタ読み出しモードで使って電子を検出して、電子検出器から取得した画像のそれぞれを前記電子線を向けるプローブの動きと同期させることを含む、(1)から(5)のいずれか一つの方法。
(7)複数の明視野ディスクのそれぞれの中心に基づいて、複数の明視野ディスクの画像の各像を互いに位置合わせすることをさらに含む、(1)から(6)のいずれか一つの方法。
(8)半径方向プロファイルの形状は、明視野ディスクの領域と周囲の暗視野回折の領域の間の遷移部の半径方向プロファイルの勾配に対応する、(3)の方法。
(9)電子顕微鏡を用いた圧縮読み出しの方法であって、フレーム高さの中で取り得る行アドレスの最大数より少ない縮約された数の行アドレスとフレーム高さの第1セットを含む行アドレステーブルを生成し、行アドレステーブル中の縮約された数の行アドレスの各行アドレスを制御装置へ送信し、制御装置は電子源を制御して電子線をサンプルへ向けて検出素子アレイを含む電子検出器から電荷を読み出すよう構成され、電子検出器は電子線の電子を検出するよう構成され、送信された行アドレスに従って読み出しを行うよう制御装置を制御し、行アドレステーブル内の最後の行アドレスが読み出されたかどうかを判定し、行アドレステーブル内の最後の行アドレスが読み出されていないと判定されたら、行アドレステーブル内の次の行アドレスへポインタをインクリメントして、次の行アドレスに従って読み出すよう制御装置を制御し、行アドレステーブル内の最後の行アドレスが走査されるまで制御と判定を繰り返す、ことを含む、方法。
(10)行アドレステーブル中の縮約された数の行アドレスは、行アドレスの無作為な選択を省略することで、フレーム高さの中で取り得る行アドレスの最大数から縮約される、(9)の方法。
(11)行アドレステーブル中の縮約された数の行アドレスは、行アドレスの周期的な選択を省略することで、フレーム高さの中で取り得る行アドレスの最大数から縮約される、(9)または(10)のいずれかの方法。
(12)行アドレステーブルを生成することは、縮約された数の行アドレスの第2セットを生成することを含み、縮約された数の行アドレスの第2セットは縮約された数の行アドレスの第1セットに続く行アドレステーブルに含まれ、縮約された数の行アドレスの第2セット内の少なくとも一つの行アドレスは縮約された数の行アドレスの第1セット内の行アドレスとは異なる、(9)から(11)のいずれか一つの方法。
(13)電子検出器から読み出された縮約された数の行アドレスに基づいて、電子検出器から第1画像を取得し、第1画像に基づいて拡張された復元物である第2画像を生成する、ことをさらに含む、(9)から(12)のいずれか一つの方法。
(14)サンプルの材料特性を判定するシステムであって、衝突する電子からの電荷を電子信号へ変換するよう構成されている検出素子アレイを含む電子検出器と、検出素子アレイの各検出素子からの電子信号をグローバルシャッタモードで読み出すよう構成されている処理回路と、を含む、システム。
(15)電子検出器は、衝突する電子からの電荷を電子信号へ直接変換するよう構成されている直接電子検出器である、(14)のシステム。
(16)電荷積分に関連する第1空乏領域の体積比は、センスノードに関連する第2空乏領域の体積比の200倍より大きい、(15)のシステム。
(17)センスノードの面積は電荷積分領域の面積の5%以下である、(15)のシステム。
(18)検出素子アレイは、検出素子アレイの前面が衝突する電子を検出するように置かれる、(14)から(17)のいずれか一つのシステム。
(19)電子検出器はハイブリッド画素アクティブ画素センサである、(14)から(18)のいずれか一つのシステム。
(20)処理回路はさらに、検出素子アレイの各検出素子からの電子信号をグローバルシャッタモードで読み出している間に所定の数の行アドレスを除外するよう構成される、(14)から(19)のいずれか一つのシステム。
したがって、前述の議論は、本発明の複数の例示の実施形態だけを開示および記載しているに過ぎない。当業者には理解されるように、本発明は、その趣旨または基本的な特徴から逸脱することなく、他の特定の形態で具現化されうる。したがって、本発明の開示は例証することを意図しており、本発明の範囲および他の請求項を制限することは意図していない。本明細書の教示の容易に識別可能な任意の変形を含む本開示は、本発明の主題が一般大衆にささげられてしまうことがないように、部分的に前述の請求項の用語の範囲を規定する。

Claims (20)

  1. 4D STEMを用いてサンプルの材料特性を判定する方法であって、
    電子源からの電子線を前記サンプルへ向けて、
    検出素子アレイを含む電子検出器を用いて前記サンプルと相互作用する電子線の電子を検出し、
    前記電子検出器から複数の明視野ディスクおよび検出された電子に基づく周囲の暗視野回折の画像を取得し、
    前記取得した前記複数の明視野ディスクおよび前記周囲の暗視野回折の画像に基づいて前記サンプルの元素組成を判定する、
    ことを含む、方法。
  2. 前記取得画像内の歪みを補正する、
    ことをさらに含む、請求項1に記載の方法。
  3. 前記取得した前記複数の明視野ディスクおよび前記周囲の暗視野回折の画像に基づいて前記サンプルの前記元素組成を判定することは、
    歪みが補正された前記取得画像の半径方向プロファイルを計算し、
    前記半径方向プロファイルを倍率により正規化し、
    前記複数の明視野ディスクの縁の前記半径方向プロファイルの形状を判定して、
    前記複数の明視野ディスクの前記縁における前記半径方向プロファイルの前記形状に基づいて、前記元素組成を判定する、
    ことをさらに含む、請求項2に記載の方法。
  4. 前記取得した画像における前記歪みは幾何学的であり、前記幾何学的歪みを補正することは、前記複数の明視野ディスクに楕円を適合させる、ことを含む、請求項2に記載の方法。
  5. 前記半径方向プロファイルは前記複数の明視野ディスクの平均強度に基づいて正規化される、請求項3に記載の方法。
  6. 前記検出することは、前記電子検出器をグローバルシャッタ読み出しモードで使って前記電子を検出して、前記電子検出器から取得した前記画像のそれぞれを前記電子線を向けるプローブの動きと同期させることを含む、請求項1に記載の方法。
  7. 前記複数の明視野ディスクのそれぞれの中心に基づいて、前記複数の明視野ディスクの画像の各像を互いに位置合わせする、
    ことをさらに含む、請求項1に記載の方法。
  8. 前記半径方向プロファイルの前記形状は、前記複数の明視野ディスクの領域と前記周囲の暗視野回折の領域の間の遷移部の前記半径方向プロファイルの勾配に対応する、請求項3に記載の方法。
  9. 電子顕微鏡を用いて圧縮読み出しする方法であって、
    フレーム高さの中で取り得る行アドレスの最大数より少ない縮約された数の前記行アドレスと前記フレーム高さの第1セットを含む行アドレステーブルを生成し、
    前記行アドレステーブル中の前記縮約された数の行アドレスの各行アドレスを制御装置へ送信し、前記制御装置は電子源を制御して電子線をサンプルへ向けて検出素子アレイを含む電子検出器から電荷を読み出すよう構成され、前記電子検出器は前記電子線の電子を検出するよう構成され、
    送信された前記行アドレスに従って読み出しを行うよう前記制御装置を制御し、
    前記行アドレステーブル内の最後の行アドレスが読み出されたかどうかを判定し、
    前記行アドレステーブル内の前記最後の行アドレスが読み出されていないと判定されたら、前記行アドレステーブル内の次の行アドレスへポインタをインクリメントして、前記次の行アドレスに従って読み出すよう前記制御装置を制御し、
    前記行アドレステーブル内の前記最後の行アドレスが走査されるまで制御と判定を繰り返す、
    ことを含む、方法。
  10. 前記行アドレステーブル中の前記縮約された数の行アドレスは、前記行アドレスの無作為な選択を省略することで、前記フレーム高さの中で取り得る前記行アドレスの最大数から縮約される、請求項9に記載の方法。
  11. 前記行アドレステーブル中の前記縮約された数の行アドレスは、前記行アドレスの周期的な選択を省略することで、前記フレーム高さの中で取り得る前記行アドレスの最大数から縮約される、請求項9に記載の方法。
  12. 前記行アドレステーブルを生成することは、前記縮約された数の行アドレスの第2セットを生成することを含み、前記縮約された数の行アドレスの前記第2セットは前記縮約された数の行アドレスの前記第1セットに続く前記行アドレステーブルに含まれ、前記縮約された数の行アドレスの前記第2セット内の少なくとも一つの行アドレスは前記縮約された数の行アドレスの前記第1セット内の前記行アドレスとは異なる、請求項9に記載の方法。
  13. 前記電子検出器から読み出された前記縮約された数の行アドレスに基づいて、前記電子検出器から第1画像を取得し、
    前記第1画像に基づいて拡張された復元物である第2画像を生成する、
    ことをさらに含む、請求項9に記載の方法。
  14. サンプルの材料特性を判定するシステムであって、
    衝突する電子からの電荷を電子信号へ変換するよう構成されている検出素子アレイを含む電子検出器と、
    前記検出素子アレイの各検出素子からの前記電子信号をグローバルシャッタモードで読み出すよう構成されている処理回路と、
    を含む、システム。
  15. 前記電子検出器は、前記衝突する電子からの前記電荷を前記電子信号へ直接変換するよう構成されている直接電子検出器である、請求項14に記載のシステム。
  16. 電荷積分に関連する第1空乏領域の体積比は、センスノードに関連する第2空乏領域の体積比の200倍より大きい、請求項15に記載のシステム。
  17. センスノードの面積は電荷積分領域の面積の5%以下である、請求項15に記載のシステム。
  18. 前記検出素子アレイは、前記検出素子アレイの前面が前記衝突する電子を検出するように置かれる、請求項14に記載のシステム。
  19. 前記電子検出器はハイブリッド画素アクティブ画素センサである、請求項14に記載のシステム。
  20. 前記処理回路はさらに、前記検出素子アレイの各検出素子からの前記電子信号を前記グローバルシャッタモードで読み出している間に所定の数の前記行アドレスを除外するよう構成される、請求項14に記載のシステム。
JP2021560342A 2019-04-19 2020-04-17 4d stemを用いて元素組成を判定するシステム、装置、および方法 Pending JP2022528751A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962836555P 2019-04-19 2019-04-19
US62/836,555 2019-04-19
PCT/US2020/028814 WO2020214985A1 (en) 2019-04-19 2020-04-17 A system, apparatus, and method for determining elemental composition using 4d stem

Publications (1)

Publication Number Publication Date
JP2022528751A true JP2022528751A (ja) 2022-06-15

Family

ID=72829513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021560342A Pending JP2022528751A (ja) 2019-04-19 2020-04-17 4d stemを用いて元素組成を判定するシステム、装置、および方法

Country Status (4)

Country Link
US (1) US11310438B2 (ja)
EP (2) EP4333452A3 (ja)
JP (1) JP2022528751A (ja)
WO (1) WO2020214985A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190113934A (ko) * 2017-02-07 2019-10-08 에이에스엠엘 네델란즈 비.브이. 하전 입자 검출 방법 및 장치
US20240047173A1 (en) * 2020-12-23 2024-02-08 Asml Netherlands B.V. Monolithic detector
US11694874B2 (en) * 2021-07-13 2023-07-04 Fei Company Method and system for generating a diffraction image
CN113899770A (zh) * 2021-09-27 2022-01-07 中国科学院广州地球化学研究所 一种纳米尺度分析地质样品晶体取向与相分布的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4851804B2 (ja) * 2006-02-13 2012-01-11 株式会社日立ハイテクノロジーズ 集束イオンビーム加工観察装置、集束イオンビーム加工観察システム及び加工観察方法
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
WO2009020918A1 (en) * 2007-08-04 2009-02-12 Omnivision Cdm Optics, Inc. Multi-region imaging systems
WO2011089911A1 (ja) * 2010-01-25 2011-07-28 株式会社日立ハイテクノロジーズ 荷電粒子線顕微鏡及びそれを用いた測定方法
WO2011146084A1 (en) * 2010-05-20 2011-11-24 California Institute Of Technology Method and system for 4d tomography and ultrafast scanning electron microscopy
EP2593958B1 (en) 2010-07-14 2019-02-20 FEI Company Improved contrast for scanning confocal electron microscope
WO2013170090A1 (en) * 2012-05-11 2013-11-14 California Institute Of Technology Control imaging methods in advanced ultrafast electron microscopy
US9432589B2 (en) 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
US8933401B1 (en) 2013-10-25 2015-01-13 Lawrence Livermore National Security, Llc System and method for compressive scanning electron microscopy
US9997331B1 (en) * 2014-01-27 2018-06-12 Mochii, Inc. Charged-particle beam microscopy
WO2015160754A2 (en) 2014-04-17 2015-10-22 Gatan, Inc. Hybrid energy conversion and processing detector
JP6283563B2 (ja) * 2014-05-08 2018-02-21 日本電子株式会社 収差計算装置、収差計算方法、画像処理装置、画像処理方法、および電子顕微鏡
US9767986B2 (en) * 2014-08-29 2017-09-19 Kla-Tencor Corporation Scanning electron microscope and methods of inspecting and reviewing samples
US9754980B2 (en) * 2015-06-30 2017-09-05 Semiconductor Energy Laboratory Co., Ltd. Photoelectric conversion element and imaging device
KR20170060865A (ko) * 2015-11-25 2017-06-02 (주)제이브이엠 약품 자동 포장장치
JP6783124B2 (ja) * 2016-11-28 2020-11-11 日本電子株式会社 走査透過電子顕微鏡および画像生成方法
JP6851262B2 (ja) * 2017-05-26 2021-03-31 日本電子株式会社 電子顕微鏡像の歪み測定方法および電子顕微鏡
EP3531439B1 (en) * 2018-02-22 2020-06-24 FEI Company Intelligent pre-scan in scanning transmission charged particle microscopy

Also Published As

Publication number Publication date
EP4333452A3 (en) 2024-05-15
EP3956919A1 (en) 2022-02-23
US11310438B2 (en) 2022-04-19
US20200335301A1 (en) 2020-10-22
WO2020214985A1 (en) 2020-10-22
EP4333452A2 (en) 2024-03-06
EP3956919A4 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
JP2022528751A (ja) 4d stemを用いて元素組成を判定するシステム、装置、および方法
JP5286004B2 (ja) 基板の検査装置、および、基板の検査方法
McMullan et al. Comparison of optimal performance at 300 keV of three direct electron detectors for use in low dose electron microscopy
Faruqi et al. Electronic detectors for electron microscopy
TWI695405B (zh) 檢查樣本之方法
US10453648B2 (en) Charged particle bean device and information-processing device
Deptuch et al. Direct electron imaging in electron microscopy with monolithic active pixel sensors
US20130015351A1 (en) Clustering of multi-modal data
WO2013077125A1 (ja) 欠陥検査方法およびその装置
TW200947497A (en) Sample observation method and apparatus, and inspection method and apparatus using the same
US11252339B2 (en) Apparatus and method for high dynamic range counting by pixelated detectors
Jeong et al. Automated crystal orientation mapping by precession electron diffraction-assisted four-dimensional scanning transmission electron microscopy using a scintillator-based CMOS detector
US9805910B1 (en) Automated SEM nanoprobe tool
Contarato et al. High speed, radiation hard CMOS pixel sensors for transmission electron microscopy
MacArthur The use of annular dark-field scanning transmission electron microscopy for quantitative characterisation
Clough et al. Direct digital electron detectors
US20200279714A1 (en) Charged Particle Beam Device
CN108028161B (zh) 用于带电粒子束装置的分段式检测器
US20230145436A1 (en) Method and apparatus for energy selective direct electron imaging
US20230028799A1 (en) Beam current adjustment for charged-particle inspection system
Pan et al. Image detectors for environmental transmission electron microscopy (ETEM)
US20220270849A1 (en) Photo-electrical evolution defect inspection
Goran et al. Recent Developments for the Characterization of Crystals and Defects at the Nanoscale using On-Axis TKD in SEM
Jin Direct electron detection in transmission electron microscopy
WO2024017717A1 (en) Enhanced edge detection using detector incidence locations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240426