JP2016119300A - 基準マークに基づく相関顕微鏡法 - Google Patents

Abstract

【課題】相関光学および電子画像化用の試料を調製し、試料の変形に起因する画像化プロセスにおける収差を補正する方法を提供すること。【解決手段】染料でコーティングされた基準マークのマーカを試料体積の全体にわたって分布させる。この基準マークのマーカは、その表面が官能化され続いて蛍光染料で処理されたポリスチレン・ナノ球の形態をとることが好ましい。この染料は、球内に浸透せず、表面に結合するだけである。染料をナノ球の表面だけに限定することによって、ｉＰＡＬＭ画像中および荷電粒子画像中で球の形状を決定することができ、このことは、試料体積に対して生じる可能性がある物理的変化を追跡するのに役立つ。【選択図】図１

Description

本発明は、相関顕微鏡法に関し、特に相関光学および電子顕微鏡画像化に関する。

生物試料中の細胞構造の顕微鏡画像は、生体プロセスおよび細胞構造に関する重要な情報を明らかにすることができる。光学顕微鏡法と電子顕微鏡法の両方を使用する相関法は、最も包括的な結果を生み出す。例えば、光学顕微鏡法情報を使用して、試料中の生物学的に重要な領域およびそれらの領域の動態を識別することができる。次いで、固定および／または染色後に、電子顕微鏡法を使用して、それらの領域内の構造的詳細を分析することができる。

従来の光学顕微鏡を用いて集められた画像の分解能は、使用する光の波長の約半分に限定される。実用的な光学顕微鏡法ではこの限界が約２００ｎｍである。この限界のため、従来の光学顕微鏡は、回折限界型（ｄｉｆｆｒａｃｔｉｏｎ ｌｉｍｉｔｅｄ）と言われる。回折限界を超えて分解能を向上させる多くの技法が存在する。このような技法は超解像技法（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）と呼ばれている。具体的な１つの技法が確率的光学再構築顕微鏡法（ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｉｃｒｏｓｏｐｙ：ＳＴＯＲＭ）である。別の技法が、光活性化局在性顕微鏡法（ｐｈｏｔｏ−ａｃｔｉｖａｔｅｄ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ：ＰＡＬＭ）である。これらの技法は、マーカが蛍光を発する「オン」状態とマーカが蛍光を発しない「オフ」状態の間で切り換えることができる蛍光マーカを使用して試料の画像を形成する目的に使用される。ＳＴＯＲＭは通常、蛍光有機染料を使用し、一方ＰＡＬＭは通常、蛍光タンパク質を使用する。これらの状態間の切換えは、蛍光を発した後にマーカが暗状態に入り、ある期間、励起に対して不感応であるときに実現される。この不活性化のため、所与の時刻に大部分のマーカは暗状態にあり、少数のマーカだけが蛍光を発する。試料の超解像画像を形成する際には、それぞれの個々のマーカを、近隣のマーカから独立して局在化するために、その試料の多数の一連の別々の画像が集められる。

これらの別々の画像では、それぞれのマーカが、回折限界点像分布関数（ｄｉｆｆｒａｃｔｉｏｎ−ｌｉｍｉｔｅｄ ｐｏｉｎｔ−ｓｐｒｅａｄ ｆｕｎｃｉｔｏｎ）として現われる。それぞれの点像分布関数にガウス・フィット（Ｇａｕｓｓｉａｎ ｆｉｔ）を適用し、その後は、マーカ位置を、ガウス・フィットの中心にある点によって表す。画像化およびこのプロセスのそれぞれのマーカへの適用を逐次的に行うことによって、回折限界を超えた画像化を可能にする、試料の超解像画像を構築する。例えば異なるマーカの発光をそれらのマーカの発光スペクトルに基づいて分離するように選択されたダイクロイック光学部品を使用することによって、異なる色の蛍光染料を同時に画像化することができる。いくつかの波長チャネルの使用は、いくつかの異なる細胞成分を同時に画像化することを可能にすることができる。

ＰＡＬＭの一変形がインターフェロメトリック（ｉｎｔｅｒｆｅｒｏｍｅｔｒｉｃ）ＰＡＬＭまたは「ｉＰＡＬＭ」である。複数のレンズを配置することによって、例えば試料の上方に１つ、試料の下方に１つレンズを配置することによって、集められた蛍光がその蛍光自体と干渉させて、その２つのレンズ・システム間の光路長の差によって決まる干渉縞を生成するようにすることができる。これは、Ｚ次元における局在化（ｌｏｃａｌｉｚａｉｔｏｎ）を可能にする。

分解能は低下するが、共焦点画像化（ｃｏｎｆｏｃａｌ ｉｍａｇｉｎｇ）などの非超解像技法も３次元蛍光画像化を可能にする。本発明は、これらのタイプの光学画像化方式を含む相関顕微鏡法に対しても有利なことがある。

相関顕微鏡法は、１つの画像化技法を用いて生成した１つまたは複数の画像に、もう１つの画像化技法を使用して生成した１つまたは複数の画像をオーバレイすることを含む。例えば、光学顕微鏡によって１つの画像を形成し、荷電粒子ビーム顕微鏡によって別の画像を形成することができる。一例では、ｉＰＡＬＭを使用して光学画像を形成し、走査電子ビームを使用して一連の画像を形成し、それらの画像を相関させる。ｉＰＡＬＭ技法は、試料中の特定の領域に関する局在化情報を提供し、電子顕微鏡からの画像は、試料の総合的な特性を示すことができる。このプロセスは、生物試料中の特定のタンパク質もしくは他の構造体を有機染料で化学的に機能化することができ、または、生物試料中の特定のタンパク質もしくは他の構造体を、ｉＰＡＬＭで画像化することができる蛍光タンパク質を発現するように遺伝子操作することができる生物試料の画像化において特に有用である。ｉＰＡＬＭデータを、荷電粒子システムからのデータと相関させると、試料の超微細構造中の蛍光マーカの位置に関する構成情報（ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）が得られる。適当な荷電粒子調製技法および荷電粒子画像化技法を選択すると、試料中のどこに特定の特徴が位置するのかに関する優れた展望を与える３次元画像を構築することができる。

相関顕微鏡法の上記の例では、ｉＰＡＬＭを使用し、最初に、Ｘ−Ｙ画像平面において関心の領域を順次、局在化し、その分子座標から２次元超解像画像をレンダリングすることによって、試料の３次元超解像蛍光画像を得る。さらに、それぞれの分子から放出された光の同時多相干渉を使用して、第３の次元を規定するＺ軸位置を抽出する。次いで、ｉＰＡＬＭを使用して画像化した試料と同じ試料を、荷電粒子システムによって画像化する。この荷電粒子システムは、例えば集束イオン・ビーム（ＦＩＢ）が厚さ数ナノメートルの試料層を除去して新しい表面を露出させ、ＳＥＭがその表面を画像化するサイクルで動作させることができる。このサイクルを多数回繰り返して、試料中のますます深い層の多数の画像を形成することができる。

しかしながら、ｉＰＡＬＭ画像と電子顕微鏡法（ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｙ：ＥＭ）画像との相関には限界がある。既存の相関法は、試料体積（ｓａｍｐｌｅ ｖｏｌｕｍｅ）と支持基板の境界面にある基準マークの平面層の使用を含む。これによって、Ｘ−Ｙ平面においては正確な位置情報が得られるが、Ｚ平面における局在化は不十分である。例えば、Ｈｅｓｓ他の米国特許第７，９２４，４３２号明細書（「Ｈｅｓｓ」）に記載されているような技法を使用した２次元Ｘ−Ｙ平面内の相関は、優れたデータを生成する。この技法におけるＸ次元およびＹ次元の相関は一般に単純である。しかしながら、Ｈｅｓｓの方法を使用したＺ平面の相関は、切片化された試料の頂面と底面の間の補間に依存する。試料切片は、電子ビームおよびイオン・ビームによって誘起された歪みに起因する変化、ならびに試料の調製および荷電粒子処理のための真空への試料の挿入に起因して試料中で生じうる変化を受けることがあるため、このような補間に依存することは問題となる。

荷電粒子顕微鏡法用の生物試料を調製するときには、その結果として、しばしば、試料に対する物理的変化が生じる。これらの物理的変化は、試料の「湿式」調製が原因で起こりうる。このような調製の１つの例は、荷電粒子システムで視認できる重金属染色剤で試料を染色するものである。物理的変化は、荷電粒子システム内で試料が真空環境にさらされることによっても起こりうる。これらの物理的変化は、ｉＰＡＬＭ画像を同じ試料の荷電粒子画像と相関させて、試料の有益な情報、特にＺ次元の情報を得る能力を低下させる。

Ｚ次元の正確な画像化のこれらの欠陥を克服する試みがいくつかなされている。このような試みには、試料の頂面において蛍光マーカを使用することが含まれる。しかしながら、このような試みは、試料の変形に起因するデータ相関のこれらの欠陥を克服しない。蛍光マーカを使用する現在の方法が提示する別の難点は、マーカを含む試料体積の全体にわたって蛍光染料が存在することである。試料体積の全体にわたって染料が存在する場合には通常、染料の量があまりに多いため、個々の単一光子放出事象を画像化する必要がある確率的なｉＰＡＬＭプロセスまたはＳＴＯＲＭプロセスを使用して、マーカを正確に局在化することはできない。その結果、試料体積の全体にわたって分散した染料の明るさによってあまりに多くの蛍光が生成されるため、近くの関心の領域の位置を正確に決定することが困難になることがある。

米国特許第７，９２４，４３２号明細書

Ｈｕａｎｇ他、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｍｅｃｈａｎｉｃｓ ０３、３３５（２０１１年） Ｐｅｅｔｅｒｓ他、Ａｎｎ．Ｂｉｏｍｅｄ．Ｅｎｇｉｎｅｅｒｉｎｇ、２００４年１０月、３２（１０）、１４４３〜１４５２ Ｕｎｌｕ他、Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、第５７４７巻

本発明は、光学画像と荷電粒子画像とを３次元で正確に相関させる方法を含む。

いくつかの実施形態は、試料体積の全体にわたって物体または基準マークを分布させる方法を提供する。これらの基準マークは、光学画像中と荷電粒子画像中の両方で視認でき、これらの基準マークを使用して、光学的方法による画像中の試料内の位置を、荷電粒子画像化による画像中の試料内の位置と相関させることができる。いくつかの実施形態では、基準マークの形状ならびに基準マークの位置を使用して、それらの画像を相関させる。

以上では、以下の本発明の詳細な説明をより十分に理解できるように、本発明の特徴および技術上の利点をかなりおおまかに概説した。以下では、本発明の追加の特徴および追加の利点を説明する。開示される着想および特定の実施形態を、本発明の同じ目的を実施するために他の構造体を変更しまたは設計するベースとして容易に利用することができることを当業者は理解すべきである。さらに、このような等価の構造体は、添付の特許請求の範囲に記載された本発明の範囲を逸脱しないことを当業者は認識すべきである。

次に、本発明および本発明の利点のより完全な理解のため、添付図面にとともに以下の説明を参照する。

試料体積の全体にわたって複数の基準マークが包埋された試料を示す図である。 染料でコーティングされた本発明の一実施形態に基づく球形基準マークを示す図である。 物理的変形を受ける前および受けた後の試料を示す図である。 画像化するために基板上に取り付けられた本発明に基づく試料を示す図である。 蛍光基準マークのマーカを照らし観察するための光学顕微鏡の略図である。 電子ビーム・カラムおよびイオン・ビーム・カラムを含むデュアル・ビーム・システムの略図である。 デュアル・ビーム・システムを使用して試料を処理するスライス・アンド・ビュー・プロセスを示す図である。 相関光学および電子顕微鏡法用の試料を調製する諸ステップを示す流れ図である。 ｉＰＡＬＭの諸ステップを示す流れ図である。

本明細書に記載された方法は、光学顕微鏡法と電子顕微鏡法の間のより正確な相関データを有する試料の３次元画像を生成する。これらの方法は、いかなる特定の光学顕微鏡技法またはいかなる特定の荷電粒子ビーム画像化技法にも限定されない。本発明は、回折限界型の光学技法および超解像光学技法と一緒に使用することができる。実施形態はさらに、ＰＡＬＭ、ｉＰＡＬＭ、ＳＴＯＲＭ、ＳＩＭ、ＳＴＥＤ、構造化照明（ｓｔｒｕｃｔｕｒｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ）技法、４Ｐｉなどのブロード・フィールド（ｂｒｏａｄ ｆｉｅｌｄ）光学技法ならびに、走査共焦点顕微鏡法、近距離場（ｎｅａｒ ｆｉｅｌｄ）走査光学顕微鏡法、ＴＩＲＦなどの走査技法の両方と一緒に使用することができる。本発明は、ＳＴＥＤ、ＧＳＤ、ＲＥＳＯＬＦＴ、ＳＳＩＭなどの確定的（ｄｅｔｅｒｍｉｎｉｓｔｉｃ）超解像技法、ならびにＳＯＦＩおよび全ての単一分子局在化法（ｓｉｎｇｌｅ−ｍｏｌｅｃｕｌｅ ｌｏｃａｌｉｚａｔｉｏｎ ｍｅｔｈｏｄ：ＳＭＬＭ）などの確率的超解像技法と一緒に使用することができる。ＳＭＬＭには例えばＳＰＤＭ、ＳＰＤＭｐｈｙｍｏｄ、ＰＡＬＭ、ＦＰＡＬＭ、ＳＴＯＲＭ、ｄＳＴＯＲＭなどがある。これらの技法は例として挙げたのであって、本発明の用途を限定するものとして挙げたのではない。

本発明の実施形態で使用することができる荷電粒子画像化技法には、走査電子顕微鏡法、走査イオン顕微鏡法、透過電子顕微鏡法、走査透過電子顕微鏡法などがあり、透過電子顕微鏡断層撮影技法など、これらの技法の変形も含まれる。

本発明のいくつかの実施形態は、表面にマーカを有するナノ球（ｎａｎｏｓｐｈｅｒｅ）の使用を含む。いくつかの実施形態では、表面を官能化し、続いて処理して、蛍光染料などのマーカを提供することができる。ナノ球のこのような処理によって、染料の存在が表面だけに限定されることが好ましい。染料をナノ球の表面だけに限定することによって、光学画像中で球の形状をより容易に決定することができ、このことは、試料体積に対して生じる可能性がある物理的変化を追跡するのに役立つ。

超解像顕微鏡法および荷電粒子顕微鏡法を使用して試料体積の３次元画像を得た後、試料体積中に包含される基準マークの位置および形状を比較し、補正を実施して、それらの位置の位置合せをすることができる。これによって、超解像画像中の位置と荷電粒子画像中の位置との間の優れた相関、特にＺ軸の優れた相関が可能になる。

Ｘ−Ｙ次元における画像化ならびにＺ次元における最初の画像化は、既知のシステムおよび方法を使用して実行することができる。そのような１つの方法が、Ｈｅｓｓ他の「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｅｒｆｅｒｏｍｅｔｒｉｃ Ｍｉｃｒｏｓｃｏｐｙ」という名称の米国特許第７，９２４，４３２号明細書に示され記述されている。Ｈｅｓｓに記載された方法では、Ｘ−Ｙ次元の２次元相関を、金ナノロッド（ｎａｎｏｒｏｄ）技法を使用して実行し、Ｚ次元の相関を、画像化された切片の頂面と底面の間の補間に基づいて実行する。一実施形態において、本出願の出願人は、染料でコーティングされた複数の基準マークのマーカを試料体積中に散在させることによって試料を調製する。試料中に染料でコーティングされた基準マークを包埋すると、試料中の関心の物体に対する基準マークの超解像局在化が可能になる。単一の基準マークの形状を画像化プロセス間で比較することも可能である。加えて、試料中の染料でコーティングされた基準マークは、染料でコーティングされた他の基準マークに対する正確な位置決定を可能にする。試料の頂面と底面の間で補間を行う現在の方法に依存することなく、この方法を使用して相関画像化を補正することができる。

図１は、樹脂などの固定材１０３中に生物細胞などの関心の領域１０２が包埋された試料１００を示す。試料１００は、試料１００中に包埋され試料体積の全体にわたって分布した複数の基準マークのマーカを含む。それらの基準マークのマーカは球１０４の形状を有することが好ましい。図２に示されているように、それぞれのマーカは、市販されているポリスチレン球またはラテックス球などの球１０４であることが好ましいが、本発明は、さまざまな形状および材料を企図する。他のタイプの基準マーク、例えば官能化されたシリカ・ビーズ、蛍光コーティングを有する粒子、量子ドット、ナノ粒子（ｎａｎｏｐａｒｔｉｃｌｅ）、ナノロッド、化学的に官能化されたナノまたはマイクロ構造体などを使用することもできる。

それぞれの球には、光学顕微鏡で観察することができるマーカが付加されている。例えば、蛍光マーカ、量子ドット、金属ナノ粒子または他のマーカを使用することができる。球にマーカを付加する任意の方法を使用することができる。一実施形態では、球がポリスチレンであり、それぞれの球１０４が、球の表面に官能基を付加する化学処理を受ける。例えばアミン（Ｒ−ＮＨ_２）基を表面に導入することができる。次いで、これらのアミノ末端を、例えば米ニューヨーク州Ｇｒａｎｄ ＩｓｌａｎｄのＬｉｆｅ Ｔｅｃｈｎｏｌｏｇｉｅｓから販売されているＡｌｅｘａＦｌｕｏｒ ４８８染料のスルホジクロロフェノールエステル誘導体と反応させることができる。画像化プロセスにおいてそれぞれの球の内部体積１０８が染色されておらず、透明のままであり続けるように、この染料コーティング１０６は、それぞれの球１０４の外面だけに塗布する。他のタイプの官能基および染料を使用してマーカをコーティングすることもできること、ならびに、光学顕微鏡法および荷電粒子顕微鏡法によって確実に画像化することができる限りにおいて、マーカは、球形以外の形状および輪郭を有することもできることに留意すべきである。例えば、蛍光染料に結合された化学的に官能化されたカーボン・ナノチューブ（ｃａｒｂｏｎ ｎａｎｏｔｕｂｅ）またはカーボン・ナノファイバ（ｎａｎｏｆｉｂｅｒ）を使用することもできる。次いで、球１０４を例えば、例えば生物細胞がその中に存在するアガロース溶液中に分散させる。次いで試料を脱水し、アクリル樹脂を染み込ませる。その結果、生物細胞は、染料でコーティングされた球１０４とともに恒久的に包埋される。球表面の化学官能基と染料誘導体の他の組合せ、または染料誘導体の不使用も、ナノ球に染料を導入する可能な方法である。

図３は、物理的変化を受ける前および受けた後の試料体積を示す。試料３００に対する物理的変化は、ｉＰＡＬＭ後の試料調製の結果、逐次切片化時にビームにさらされた結果、もしくは真空環境にさらされた結果であることがあり、または他の原因で起こることもある。図３の左側には、生物細胞物質３０２などの包埋された関心の領域と、試料体積の全体にわたって分散した複数の球３０４とを含む、物理的変形を受ける前の試料３００が示されている。物理的変化を受ける前、試料３００は実質上対称であり、外面は実質的に平行であることが分かる。例えば、上面３０６は下面３０８と実質的に平行である。図３の右側には、物理的変形後の試料３００が示されており、この変形では、試料３００にいくつかの変化が生じている。より具体的には、上面３０６と下面３０８はもはや実質的に平行ではない。加えて、試料体積の形状が変化した結果として、細胞物質３０２と球３０４の相対位置が変化している。位置の変化に加えて、球３０４自身が、最初の球形の形状を球がもはや持たない物理的変化を受けることもある。図２に最もよく示されているとおり、それぞれの球３０４は、染料分子の層を球の外面にだけ有するため、標識化はまばらとなり、その結果、１つの球の蛍光が近くの球と干渉しない。したがって、試料中の個々の球の正確な位置、および／または特定のタンパク質分子などの他の関心の物体の正確な位置が得られる。加えて、球の外面の染料コーティングは、画像中で球が透明で中空に見えるような、球を通した光学画像化を可能にする。次いで、球または他の形状の重心の位置を決定することができる。この重心は、基準マークと試料体積中の他の物体の間の相対間隔を決定する基準点として使用される。さらに、その球のその最適な球形からの偏差ならびに他の球に対するその球の位置を使用して、荷電粒子顕微鏡法を使用して得た画像化された切片を補正することができる。この補正によって、ｉＰＡＬＭ画像と電子画像の間の相関の正確さを向上させることができる。

図４は、樹脂４０４または他の固定材中に包埋された細胞構造体４０２または他の関心の領域を有する試料４００を示す。樹脂４０４中には、ｉＰＡＬＭデータをＦＩＢ−ＳＥＭスライス・アンド・ビュー・データと相関させるための３次元基準マークのマーカとして使用するために、染料でコーティングされた複数の球４０６が分散している。染料でコーティングされた球４０６の位置を突き止めるのは、ｉＰＡＬＭ画像化と電子画像化の両方で容易である。試料４００は、金ナノロッド４１２を含むＩＴＯコーティング４１０を有するカバーガラス４０８からなる支持体４０７上に取り付けられている。金ナノロッドを使用したＺ次元の最初の較正は、Ｈｅｓｓ他の米国特許第７，９２４，４３２号明細書に示され記述されているとおりに実施される。しかしながら、染料でコーティングされた球４０６の分散は、試料の体積全体にわたってｉＰＡＬＭデータとＥＭデータとを直接に相関させることを可能にする。

本発明の実施形態は、蛍光マーカを照らして観察するための光学顕微鏡と、イオン・ビーム・カラムおよび電子ビーム・カラムを含むことができるデュアル・ビーム・システムとを含む既存のシステムで実装することができる。図５は、超解像光学システム５００を示す。このシステムは、励起ビームを放出する励起源５０２を有する。このビームを、ディプリーション・ビーム（ｄｅｐｌｅｔｉｏｎ ｂｅａｍ）を放出するディプリーション源５２８と結合させることができる。結合後のビーム５０４はミラー５１４で反射され、試料体積５２０中で小さなスポットに集束する。他の実施形態は、本発明の範囲を逸脱しない異なる光学ビーム経路を特徴とすることができる。試料体積中の脱励起された分子によって放出された光子をレンズ５２２および５２４によって集め、プリズム５０８で再結合させる。この再結合によって干渉縞が生じ、その干渉縞をコレクタ５２６によって集める。この干渉縞を解析することによって、試料体積の正確な３次元画像を生成することができる。

典型的なデュアル荷電粒子ビーム・システム６００が図６に示されている。システム６００は電子ビーム・カラム６０２を含み、電子ビーム・カラム６０２は、電子源６０４、偏向器６０５、ならびに電子光学レンズ６０６および６０８を備え、これらのレンズは、電子ビーム６１０を集束させ、試料ステージ６１４上に取り付けられた試料６１２に向かって導く。システム６００はさらに集束イオン・ビーム・カラム６１６を含み、集束イオン・ビーム・カラム６１６は、イオン源６１８、イオン光学レンズ６２０および６２２を備え、これらのレンズは、イオン・ビーム６２４を集束させ、試料６１２に向かって導く。電子ビーム・カラム６０２およびイオン・ビーム・カラム６１８ならびに粒子検出器６２６は、真空室６２８内に含まれる。真空室６２８は真空ポンプ６３０によって排気される。制御装置６３２が、電子ビーム・カラム６０２とイオン・ビーム・カラム６１８の両方ならびに検出器６２６を制御する。図７は、デュアル・ビーム・システム６００によって試料体積７００に対して実行されるスライス・アンド・ビュー・プロセスを示す。試料体積７００は、包埋された構造体７０２および染料でコーティングされた分散した球７０４を含む。電子ビーム・カラム７１０からの電子ビーム７０８によって試料面７０６を画像化する。画像化した後、集束イオン・ビーム・カラム７１４からの集束イオン・ビーム７１２を用いたミリング（ｍｉｌｌｉｎｇ）によって試料体積の平面層を除去する。この層をミリングすることによって新しい試料面７１６を露出させ、次いで試料面７１６を電子ビーム７０８を用いて画像化する。次いでこのプロセスを繰り返し、集束イオン・ビーム７１２によって新しい試料面７１８をミリングし露出させ、次いで試料面７１８を画像化する。このプロセスをさらに別の層に対して継続して、新しい試料面７２０および７２２を露出させ、次いでそれらの面を画像化し、除去する。層のサイズおよび数は、関心の領域のサイズおよび位置によって変わってくる。イオン・ビーム・システムも、電子画像化と同様のプロセスで画像を生成することができる。電子顕微鏡法の代わりにイオン顕微鏡法を使用することができる。加えて、電子断層撮影法、荷電粒子ビーム・エネルギーに基づいて深さ情報を集める方法など、３次元荷電粒子画像を生み出す他の方法も知られている。

図８は、相関光学および電子顕微鏡法用の試料を調製する方法および相関画像化プロセスを示す。このプロセスは試料８０２から始まり、試料は、生きている生物、組織生検材料または他のタイプの試料とすることができる。本明細書の多くの部分が生物試料を対象としているが、この方法を使用して他のタイプの試料を調べることもできる。この試料を、当技術分野でよく知られている方法を使用して固定し８０４、染色する８０８。この試料調製プロセスの任意の時点で免疫標識化（ｉｍｍｕｎｏｌａｂｅｌｉｎｇ）８０６を使用することができ、免疫標識化８０６は、蛍光マーカまたは重金属マーカを用いた試料中の特定の領域の局在化された染色を可能にする。最初の試料調製とは別に、３Ｄ基準マークを調製する。ステップ８１２で、最終的な試料切片の所望の厚さよりも小さな直径を有するように、基準マークのサイズを選択する。ステップ８１４で、最終的な試料切片の視野の中に複数の基準マークが存在するが、試料の構成部分の視覚化が困難になるほどには存在する基準マークの数が多くならないように、必要な基準マークの濃度を計算する。

本発明の一実施形態では、基準マークがポリスチレン球である。染料の結合を可能にするために、例えば脂肪族アミン基または他の官能基を球の表面に化学結合させることによって球の表面を化学的に修飾することができる。球の表面を化学的に修飾することによって、球の表面だけに蛍光染料を結合させ、球の内部へ染料を浸透させないようにすることができる。球がスライスされ画像化されると、このスライシングの結果として球の内部が露出した場合、球はリングとして現われる。基準マークの表面だけに染料を配置すると、それによって、基準マークに関する位置情報、ならびに後続の試料処理中の球の変形に関する情報がより正確になるため有利である。基準マークが重金属で染色されやすいことも有利なことがある。例えば、四酸化オスミウムは、球中の不飽和炭化水素を選択的に染色することができ、その結果、ＳＥＭでのコントラストが向上する。

ステップ８１８で、基準マークを媒質に懸濁させる。これで、試料を導入する準備ができたことになる。この媒質はしばしば粘性溶液、例えばアガロース・ゲルである。ステップ８１０は、相関顕微鏡法が望ましいかどうかを判断するステップである。以前に述べたとおり、相関顕微鏡法は多くの望ましい特徴を有する。相関顕微鏡法が望ましくない場合には、続いて、基準マークを含まない媒質に試料を懸濁させる。相関顕微鏡法が望まれる場合には、以前に調製しておいた基準マークを含む媒質に試料を懸濁させる８２０。ステップ８２４で、追加の染色ステップ８２６を試料に適用するかどうかを判断する。一実施形態では、追加の染色が、四酸化オスミウム、酢酸ウラニルなどの重金属染色剤の使用を含む。追加の染色を実装する場合には追加の染色に続いて、試料を脱水する８２８。この脱水は、当技術分野でよく知られているさまざまな方法を使用して実行することができる。例えば、試料の水分を、エタノールなどの混和性の溶媒に段階的に置き換えることができる。

脱水の後、試料をプラスチック樹脂に包埋する８３０。これで、試料を薄い切片にする準備ができたことになる。試料の切片化８３２は、例えば超薄切片法（ｕｌｔｒａｍｉｃｒｏｔｏｍｙ）によって、または集束イオン・ビームを使用した切片化によって実行することができる。次いで、ステップ８３４で、試料の薄い切片を基板上に置く。いくつかの実施形態では、この基板が、表面全体に基準マークが分布し、それらの基準マークが、試料体積と基板の境界に基準マークのマーカの２次元アレイを形成した平面基板の形態をとる。いくつかの実施形態では、図４に示されているように、基準マークが金ナノロッドであり、基板がカバーガラスである。試料を基板に載せたら画像化の準備は完了である。一般に、最初の画像化プロセスとしては光学画像化ステップ８３６が好ましい。光学画像化プロセスは通常、試料体積の著しい物理的変化を引き起こさないためである。次いで、ステップ８３８の荷電粒子画像化を実行する。

いくつかの実施形態では、図９に示されているようなインターフェロメトリックＰＡＬＭを使用して３Ｄ超解像画像を生成する。調製済みの試料９０２を、図５に示された顕微鏡などの顕微鏡内に置き、ステップ９０４で励起光を照射する。次いで、一連の蛍光画像９０６を得る。同時に、インターフェロメトリック・データも集める９０８。このデータを解釈してＺ軸情報を提供することができる。次いで、それぞれの発光体の点像分布関数にガウス・フィットを適用し９１０、ガウス・フィットを、インターフェロメトリックＺ軸データと組み合わせて、３次元空間内の点を与える。これらの点が最終的な３Ｄ画像９１２を構成する。いくつかの実施形態では、複数の蛍光マーカを連続して画像化する。マーカは、重なり合わない蛍光発光スペクトルを有するように選択する。その結果、例えばダイクロイック光学部品を使用することによって、それらのマーカの蛍光を分離することができる。

荷電粒子顕微鏡の真空室に試料を導入すると、図３に最も明確に示されているように、試料体積に物理的変化が起こることがある。例えば、試料が収縮または変形し、その結果、使用する２つの顕微鏡技法間で、試料体積中の位置間の相関が失われる可能性がある。本発明は、試料体積の光学画像と荷電粒子画像の間の相関を改善する。前に説明したとおりに調製し、分布させた基準マークのマーカは、光学超解像画像中と荷電粒子画像中の両方で視認することができる。したがって、試料体積の全体にわたる基準マークのマーカの分布および位置は、光学画像中と荷電粒子体積測定（ｖｏｌｕｍｅｔｒｉｃ）画像中の両方で決定することができる。基準マークのマーカは試料体積基質（ｍａｔｒｉｘ）中で動かないため、基準マークのマーカは、試料体積が何らかの物理的変化を受けたときに、試料体積中の関心の特徴と一緒に移動する。光学画像化と荷電粒子画像化の両方で、試料体積中の基準マークのマーカの３次元位置を正確に決定することによって、画像化技法間のそれぞれの基準マークの移動量、したがって画像化プロセス間の試料体積の変形の量を決定することができる。加えて、基準マークの形状の任意の変化を使用して、試料体積の変形を決定することもできる。次いで、どちらかの画像セットに補正を適用して、画像化方法間の正確な相関を可能にすることができる。

ステップ８４０（図８）で、光学画像中の基準マークの位置を、荷電粒子ビーム画像中の基準マークの位置と相関させる。有用な相関技法が、Ｈｕａｎｇ他、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｍｅｃｈａｎｉｃｓ ０３、３３５（２０１１年）「Ｈｕａｎｇ」によって示されている。Ｈｕａｎｇは、一組のディジタル体積相関アルゴリズムを使用して、レーザ走査共焦点顕微鏡法を使用した軟かいゲルの３次元変形測定に対処している。第１のアルゴリズムを使用して、インテジャ（ｉｎｔｅｇｅｒ）−ボクセル（ｖｏｘｅｌ）相関計算を加速する。次いで、２つの異なるアルゴリズムを使用して、変形の前後の体積画像のサブボクセル変位および歪みフィールドを得る。Ｈｕａｎｇは、試料の異なる層のレーザ走査共焦点顕微鏡法による画像を相関させているが、Ｈｕａｎｇが使用した技法を使用して、光学画像とＥＭ画像とを相関させることができる。Ｐｅｅｔｅｒｓ他、Ａｎｎ．Ｂｉｏｍｅｄ．Ｅｎｇｉｎｅｅｒｉｎｇ、２００４年１０月、３２（１０）、１４４３〜１４５２は、後続の画像間の変形を定量化する可能な別の方法を記載しており、Ｕｎｌｕ他、Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、第５７４７巻もそのような方法を記載している。別の方法は、荷電粒子画像中と光学画像中の両方でエッジ検出を使用し、それらの画像に３Ｄ変換を適用して、光学画像と荷電粒子画像の間でエッジを一致させる。

ＥＭ画像中の基準マークが、光学画像中の基準マークの位置の３次元内の位置と一致するように、一連の画像中の画素を再配分することによって、電子顕微鏡での歪んだ画像を「歪みのない」画像にすることができる。さらに、ステップ８４２で、電子ビーム画像の基準マークの元の球形からの偏差によって歪みを決定することもでき、ＥＭ画像の画素を、基準マークの画像が球形の基準マークを示すように再配列することができる。本発明の好ましい方法または装置は多くの新規の態様を有する。本発明は、目的の異なる、異なる方法または装置で具現化することができるため、全ての実施形態に全ての態様が存在する必要はない。さらに、記載された実施形態の態様の多くは別個に特許を受けることができる。本発明は幅広い適用可能性を有し、上記の例において説明し、示した多くの利点を提供することができる。本発明の実施形態は、具体的な用途によって大きく異なり、全ての実施形態が、これらの全ての利点を提供するわけではなく、本発明によって達成可能な全ての目的に合致するわけではない。

さらに、コンピュータ・ハードウェア、ハードウェアとソフトウェアの組合せ、またはコンピュータ可読の非一時的記憶装置に記憶されたコンピュータ命令によって、本発明の実施形態を実装することができることも認識すべきである。本発明の方法は、標準プログラミング技法を使用し、本明細書に記載された方法および図に基づいて、コンピュータ・プログラムとして実装することができ、このコンピュータ・プログラムは、コンピュータ・プログラムを含むように構成されたコンピュータ可読の非一時的記憶媒体を含み、そのように構成された記憶媒体は、コンピュータを、予め定義された特定の方式で動作させる。コンピュータ・システムと通信するため、それぞれのプログラムは、高水準手続き型プログラミング言語またはオブジェクト指向プログラミング言語で実装することができる。しかしながら、所望ならば、それらのプログラムを、アセンブリ言語または機械語で実装することもできる。いずれにせよ、その言語は、コンパイルまたは解釈される言語とすることができる。さらに、そのプログラムは、その目的のためにプログラムされた専用集積回路上で実行することができる。

さらに、方法論は、限定はされないが、荷電粒子ツールもしくは他の画像化デバイスとは別個の、荷電粒子ツールもしくは他の画像化デバイスと一体の、または荷電粒子ツールもしくは他の画像化デバイスなどと通信するパーソナル・コンピュータ、ミニコンピュータ、メインフレーム、ワークステーション、ネットワーク化されたコンピューティング環境または分散コンピューティング環境、コンピュータ・プラットホームなどを含む、任意のタイプのコンピューティング・プラットホームで実装することができる。本発明の諸態様は、取外し可能であるか、またはコンピューティング・プラットホームと一体であるかを問わない、ハードディスク、光学式読取りおよび／または書込み記憶媒体、ＲＡＭ、ＲＯＭなどの非一時的記憶媒体または記憶装置上に記憶された機械可読コードであって、プログラム可能なコンピュータが、本明細書に記載された手順を実行するために、その記憶媒体または記憶装置を読んだときに、そのコンピュータを構成し、動作させるために、そのコンピュータが読むことができるように記憶された機械可読コードとして実装することができる。さらに、機械可読コードまたは機械可読コードの一部を、有線または無線ネットワークを介して伝送することができる。本明細書に記載された発明は、マイクロプロセッサまたは他のデータ処理装置と連携して上述の諸ステップを実装する命令またはプログラムを含む、これらのさまざまなタイプの非一時的コンピュータ可読記憶媒体、およびその他のさまざまなタイプの非一時的コンピュータ可読記憶媒体を含む。本発明はさらに、本明細書に記載された方法および技法に従ってプログラムされたとき、そのコンピュータ自身を含む。

入力データに対してコンピュータ・プログラムを適用して、本明細書に記載された機能を実行し、それによって入力データを変換して出力データを生成することができる。この出力情報は、ディスプレイ・モニタなどの１つまたは複数の出力装置に適用される。本発明の好ましい実施形態では、変換されたデータが物理的な実在する物体を表し、これには、その物理的な実在する物体の特定の視覚的描写をディスプレイ上に生成することが含まれる。

以上の説明の多くは、ドリル掘り屑からの鉱物試料を対象としているが、本発明は、適当な任意の物質の試料を調製する目的に使用することができる。特記しない限り、本出願では、用語「加工物」、「試料」、「基板」および「試験体」が相互に交換可能に使用されている。さらに、本明細書において用語「自動」、「自動化された」または同種の用語が使用されるときには常に、それらの用語が、自動プロセスもしくは自動ステップ、または自動化されたプロセスもしくは自動化されたステップの手動開始を含むことが理解されよう。

実施形態では、光学的に取得した画像および荷電粒子ビーム・システムを用いて取得した画像を利用した試料体積中の関心の領域の位置の３次元相関の方法が提示される。この方法は、基板上に支持された試料体積を提供することであり、この試料体積が、関心の領域と、試料体積の全体にわたって分布した基準マークとを含み、この基準マークが、試料体積の光学画像中と荷電粒子画像中の両方で識別可能であることと、試料体積を光学システムに導入することと、試料体積を光学システムを使用して画像化することと、１つまたは複数の光学画像を使用して、試料体積の全体にわたって分布した基準マークの３次元位置を識別することと、試料体積を荷電粒子ビーム・システムに導入することと、試料体積を荷電粒子ビームを使用して画像化することと、１つまたは複数の荷電粒子画像を使用して、試料体積の全体にわたって分布した基準マークの３次元位置を識別することと、光学画像中および荷電粒子ビーム画像中の基準マークの位置を使用して、試料体積中の関心の領域の位置を相関させることとを含む。

いくつかの実施形態では、試料体積の全体にわたって分布した基準マークが蛍光マーカを含む。

いくつかの実施形態では、近くの蛍光マーカから実質的に干渉されることなくそれぞれの蛍光マーカを個別に画像化することができる十分に低い濃度で、蛍光マーカが、試料体積の全体にわたって分布している。

いくつかの実施形態では、この方法が、試料体積と基板との境界面のＸ−Ｙ平面内に基準マークの平面層をさらに含み、前記基準マークが、試料体積の全体にわたって分布した基準マークと区別できる。

いくつかの実施形態では、試料体積を光学システムを使用して画像化することが、３次元超解像画像化を含む。

いくつかの実施形態では、超解像画像化が光活性化局在性顕微鏡法を含む。

いくつかの実施形態では、物体の３次元位置を、荷電粒子ビーム・システムを使用して、逐次画像化および材料除去サイクルによって得る。

いくつかの実施形態では、画像化が、走査電子顕微鏡画像を得ることを含み、材料除去が、集束イオン・ビームを用いたミリングを含む。

いくつかの実施形態では、基準マークが蛍光ナノ粒子を含む。

いくつかの実施形態では、ナノ粒子が、染料によって機能化された球（ｄｙｅ−ｆｕｎｃｔｉｏｎａｌｉｚｅｄ ｓｐｈｅｒｅ）である。

いくつかの実施形態では、染料によって機能化された球が、球の表面に存在し球の内部には浸透しない染料を含む。

いくつかの実施形態では、この染料が、光活性化可能な（ｐｈｏｔｏａｃｔｉｖａｔａｂｌｅ）染料またはタンパク質である。

いくつかの実施形態では、ナノ粒子が量子ドットである。

実施形態では、試料体積中の空間的変化を補正する方法が提示される。この方法は、試料体積を光学システムを使用して画像化することと、集められた１つまたは複数の光学画像を使用して、試料体積の全体にわたって分布した基準マークの３次元位置を決定することと、試料体積を荷電粒子システムに導入することと、試料体積を荷電粒子ビームを使用して画像化することと、集められた１つまたは複数の荷電粒子ビーム画像を使用して、試料の全体にわたって分布した基準マークの３次元位置を決定することと、１つまたは複数の光学画像中の基準マークの位置を、１つまたは複数の荷電粒子ビーム画像中の基準マークの位置と比較することと、１つまたは複数の光学画像と１つまたは複数の荷電粒子画像の間の基準マークの位置の差を計算することと、１つまたは複数の光学画像あるいは１つまたは複数の荷電粒子画像に補正を適用して、試料体積に対する空間的変化を考慮することとを含む。

いくつかの実施形態では、この方法が、補正を適用した後に、１つまたは複数の光学画像に１つまたは複数の荷電粒子画像をオーバレイすることをさらに含む。

いくつかの実施形態では、光学画像化が３次元超解像画像化を含む。

いくつかの実施形態では、荷電粒子画像化が、逐次画像化および材料除去サイクルによる一連の画像を含み、この一連の逐次画像を処理して、試料体積の３次元表現にすることができる。

いくつかの実施形態では、１つまたは複数の光学画像中の基準マークと前記１つまたは複数の荷電粒子画像中の基準マークの間の相対距離を比較することによって、基準マークの位置の差を決定する。

いくつかの実施形態では、光学画像化と荷電粒子画像化の間の基準マークの形状の何らかの変化を計算し、この変化を使用して、１つもしくは複数の光学画像または１つまたは複数の荷電粒子画像に補正を適用する。

以下の議論および特許請求の範囲では、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「備える（ｃｏｍｐｒｉｓｉｎｇ）」が、オープン・エンド（ｏｐｅｎ−ｅｎｄｅｄ）型の用語として使用されており、したがって、これらの用語は、「．．．を含むが、それらだけに限定はされない（ｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味すると解釈すべきである。どの用語も本明細書で特に定義されていない限り、その用語は、その通常の一般的な意味で使用されることが意図されている。添付図面は、本発明の理解を助けることが意図されており、特記しない限り、一定の比率では描かれていない。本発明を実施するのに適した粒子ビーム・システムは例えば、本出願の譲受人であるＦＥＩ Ｃｏｍｐａｎｙから市販されている。

本発明および本発明の利点を詳細に説明したが、添付の特許請求の範囲によって定義されたような本発明の趣旨および範囲から逸脱することなく、本明細書に記載された実施形態に、さまざまな変更、置換および改変を加えることができることを理解すべきである。さらに、本出願の範囲が、本明細書に記載されたプロセス、機械、製造、組成物、手段、方法およびステップの特定の実施形態に限定されることは意図されていない。当業者なら本発明の開示から容易に理解するように、本明細書に記載された対応する実施形態と実質的に同じ機能を実行し、または実質的に同じ結果を達成する既存のまたは今後開発されるプロセス、機械、製造、組成物、手段、方法またはステップを、本発明に従って利用することができる。したがって、添付の特許請求の範囲は、その範囲内に、このようなプロセス、機械、製造、組成物、手段、方法またはステップを含むことが意図されている。

１００ 試料
１０２ 関心の領域
１０３ 固定材
１０４ 球
６０２ 電子ビーム・カラム
６０４ 電子源
６１０ 電子ビーム
６１２ 試料
６１４ 試料ステージ
６１６ 集束イオン・ビーム・カラム

Claims (33)

1. 光学画像および荷電粒子画像を利用した試料体積中の関心の領域の位置の３次元相関の方法であって、
   試料体積を含む試料を提供することであり、前記試料体積が、関心の領域を包含し、前記試料体積中に分布した基準マークとを含み、前記基準マークが、前記試料体積の光学画像中と荷電粒子画像中の両方で識別可能であることと、
   前記試料体積を光学システムを使用して画像化することと、
   前記試料体積を荷電粒子ビームを使用して画像化することと、
   前記光学画像中と前記荷電粒子ビーム画像中の両方で識別された前記基準マークの位置を使用して、前記試料体積中の関心の領域の位置を相関させることと
   を含む方法。
2. 前記基準マークが既知の３次元形状を有し、前記基準マークが表面にマーカを含み、しかし内部には含まない、請求項１に記載の方法。
3. 前記試料体積中の関心の領域の位置を相関させることが、前記試料体積の全体にわたって分布した前記基準マークのうちの少なくともいくつかの基準マークの３次元位置を、１つまたは複数の光学画像を使用して決定すること、および前記試料体積中に分布した前記基準マークの３次元位置を、１つまたは複数の荷電粒子画像を使用して決定することを含む、請求項１または２に記載の方法。
4. 前記試料体積を前記光学システムを使用して画像化することと、前記試料体積を前記荷電粒子ビームを使用して画像化することの間で、前記試料体積の形状が変化し、前記試料体積中の関心の領域の位置を相関させることが、前記荷電粒子ビーム画像の画素を再配分して、前記光学画像中の前記基準マークの３次元位置が、前記荷電粒子ビーム画像中の前記基準マークの３次元位置と一致するようにすることを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記試料体積を前記光学システムを使用して画像化することと、前記試料体積を前記荷電粒子ビームを使用して画像化することの間で、前記基準マークの形状が変化し、前記試料体積中の関心の領域の位置を相関させることが、前記基準マークの形状の前記変化を使用することを含む、請求項１から４のいずれか一項に記載の方法。
6. 前記基準マークが既知の３次元形状を有し、前記基準マークが表面にマーカを含み、しかし内部には含まない、請求項１から５のいずれか一項に記載の方法。
7. 前記試料体積中に分布した前記基準マークが蛍光球を含み、前記蛍光球が、前記球の表面に存在し前記球の内部には浸透しない染料を含む、請求項１から６のいずれか一項に記載の方法。
8. 近くの蛍光マーカから実質的に干渉されることなくそれぞれの基準マークを個別に画像化することができる十分に低い濃度で、前記基準マークが前記試料体積中に分布している、請求項１から７のいずれか一項に記載の方法。
9. 前記試料体積と基板との境界面のＸ−Ｙ平面内に基準マークの平面層をさらに含み、前記基準マークが、前記試料体積の全体にわたって分布した前記基準マークと区別できる、請求項１から８のいずれか一項に記載の方法。
10. 前記試料体積を光学システムを使用して画像化することが、３次元超解像画像化を含む、請求項１から９のいずれか一項に記載の方法。
11. 超解像画像化が光活性化局在性顕微鏡法を含む、請求項１０に記載の方法。
12. 物体の３次元位置を、前記荷電粒子ビーム・システムを使用して、逐次画像化および材料除去サイクルによって得る、請求項１から１１のいずれか一項に記載の方法。
13. 画像化が、走査電子顕微鏡画像を得ることを含み、材料除去が、集束イオン・ビームを用いたミリングを含む、請求項１２に記載の方法。
14. 前記基準マークが蛍光ナノ粒子を含む、請求項１から１３のいずれか一項に記載の方法。
15. 前記ナノ粒子が、染料によって機能化された球である、請求項１４に記載の方法。
16. 前記染料によって機能化された球が、前記球の表面に存在し前記球の内部には浸透しない染料を含む、請求項１５に記載の方法。
17. 前記染料が、光活性化可能な染料またはタンパク質である、請求項１５または１６に記載の方法。
18. 前記ナノ粒子が量子ドットである、請求項１４に記載の方法。
19. 前記基準マークの３次元位置を、１つもしくは複数の荷電粒子画像または１つもしくは複数の光学画像を使用して決定することが、前記基準マークの３次元形状を決定することをさらに含む、請求項２から１８のいずれか一項に記載の方法。
20. 前記光学画像中と前記荷電粒子ビーム画像中の両方で識別された前記基準マークの位置を使用することが、前記基準マークの形状の変化を使用することをさらに含む、請求項１４に記載の方法。
21. 試料体積中の空間的変化を補正する方法であって、
    試料体積を提供することであり、前記試料体積が、前記試料体積の全体にわたって分散した基準マークを含むことと、
    前記試料体積を光学システムを使用して画像化することと、
    集められた１つまたは複数の前記光学画像を使用して、前記試料体積中に分布した前記基準マークの３次元位置を決定することと、
    前記試料を荷電粒子ビーム・システムに導入することと、
    前記試料を荷電粒子ビームを使用して画像化することと、
    集められた１つまたは複数の前記荷電粒子ビーム画像を使用して、前記試料体積中に分布した前記基準マークの３次元位置を決定することと、
    前記１つまたは複数の光学画像中の前記基準マークの位置を、前記１つまたは複数の荷電粒子ビーム画像中の前記基準マークの位置と比較することと、
    前記１つまたは複数の光学画像と１つまたは複数の荷電粒子画像の間の基準マークの位置の差を計算することと、
    前記試料体積に対する空間的変化を考慮するために、前記１つまたは複数の光学画像あるいは前記１つまたは複数の荷電粒子画像に補正を適用することと
    を含む方法。
22. 前記基準マークの３次元位置を決定することが、前記基準マークの３次元形状を決定することをさらに含む、請求項２１に記載の方法。
23. 補正を適用した後に、前記１つまたは複数の光学画像に前記１つまたは複数の荷電粒子画像をオーバレイするスことさらに含む、請求項２１または２２に記載の方法。
24. 光学画像化が３次元超解像画像化を含む、請求項２１から２３のいずれか一項に記載の方法。
25. 荷電粒子画像化が、逐次画像化および材料除去サイクルによる一連の画像を含み、前記一連の逐次画像を処理して、前記試料体積の３次元表現にすることができる、請求項２１から２４のいずれか一項に記載の方法。
26. 前記１つまたは複数の光学画像中の基準マークと前記１つまたは複数の荷電粒子画像中の基準マークの間の相対距離を比較することによって、基準マークの位置の差を決定する、請求項２１から２５のいずれか一項に記載の方法。
27. 選択された基準マークの相対形状を光学画像化と荷電粒子画像化の間で比較することによって、前記基準マークの形状の変化を決定する、請求項２１から２６のいずれか一項に記載の方法。
28. 光学画像化と荷電粒子画像化の間の前記基準マークの形状の任意の変化を計算し、この変化を使用して、前記１つもしくは複数の光学画像または前記１つまたは複数の荷電粒子画像に補正を適用する、請求項２１から２７のいずれか一項に記載の方法。
29. 試料体積中の空間的変化の画像補正のための装置であって、
    荷電粒子画像化システムと、
    光学画像化システムと、
    試料体積の全体にわたって分布した基準マークを含む前記試料体積と、
    不揮発性記憶装置に接続された制御装置と
    を備え、
    前記記憶装置が、以下の各動作：
    前記試料体積を光学システムを使用して画像化すること、
    集められた１つまたは複数の前記光学画像を使用して、前記試料体積の全体にわたって分布した前記基準マークの３次元位置を決定すること、
    前記試料体積を荷電粒子ビームを使用して画像化すること、
    集められた１つまたは複数の前記荷電粒子ビーム画像を使用して、前記試料体積の全体にわたって分布した前記基準マークの３次元位置を決定すること、
    前記１つまたは複数の光学画像中の前記基準マークの位置を、前記１つまたは複数の荷電粒子ビーム画像中の前記基準マークの位置と比較すること、
    前記１つまたは複数の光学画像と前記１つまたは複数の荷電粒子画像の間の基準マークの位置の差を計算すること、および
    前記試料体積に対する空間的変化を考慮するために、前記１つまたは複数の光学画像あるいは前記１つまたは複数の荷電粒子画像に補正を適用すること
    を実行するよう前記制御装置に命令する命令を記憶した、試料体積中の空間的変化の画像補正のための装置。
30. 前記基準マークの３次元位置を決定することが、前記基準マークの３次元形状を決定することをさらに含む、請求項２９に記載の装置。
31. 光学画像化が３次元超解像画像化を含み、荷電粒子画像化が走査電子顕微鏡法を含む、請求項２９または３０に記載の装置。
32. 前記１つまたは複数の光学画像中の基準マークと前記１つまたは複数の荷電粒子画像中の基準マークの間の相対距離を比較することによって、基準マークの位置と形状のうちの一方または両方の差を決定する、請求項２９から３１のいずれか一項に記載の装置。
33. 基準マークの位置と形状のうちの一方または両方の差が、前記試料の形状に対する物理的変化によって生じる、請求項２９または３２に記載の装置。

Images