JP2012199224A - 生体試料中の多数の蛍光マーカーを局在化するためのシステム及び方法 - Google Patents

Abstract

【課題】蛍光マーカーを付着させた標的タンパク質の位置の特定を、同時に多数行う事のできる顕微鏡システムを実現する。
【解決手段】試料３０６中の標的タンパク質に付与した蛍光マーカーを光３２４により励起し、蛍光マーカーからの光３２８を放物面鏡３１４により集光して光検出器３６０で検出すると共に、荷電粒子ビーム３０４を走査する事により蛍光マーカーを不活性にすることによって励起位置を特定する。同時に、放出される二次電子３３２を放物面鏡３１４の表面に印加された電界により二次電子検出器３２０へ向けて偏向させる事により検出して試料像を形成する。
【選択図】図３

Description

本発明は、集束荷電粒子ビームシステムに関し、特に、試料中の蛍光マーカーを励起し、局在化するために使用されるシステムに関する。

近年の生物学研究では、より高い空間分解能で細胞内の各種細胞構成要素の位置を決定することにますます大きな関心が集められている。画像の分解能及びコントラストを向上させるためには、多くの異なる技術、つまり、電子顕微鏡（ＴＥＭ、ＳＴＥＭ、ＳＥＭなど）並びに最新の高分解能技術を含んだ各種光学顕微鏡の両方を必要とする。細胞内構造、輸送、代謝及び運動の研究のための広く利用されている一つの有力な技術として、「レポーター」遺伝子を「標的遺伝子」（ＧｏＩ）に結合する遺伝子組換え技術の応用がある。そして、特定のＧｏＩが通常の遺伝子の転写／翻訳の過程で発現する場合、レポーター遺伝子も発現し、ＧｏＩでコードされる「標的タンパク質」（ＰｏＩ）の一端に付けられた短いタンパク質を生成する。広く利用されているレポーター遺伝子の一つは、緑色蛍光タンパク質（ＧＦＰ）をコードするものであり、これらレポーター遺伝子は野生型及び遺伝的組換え型のものから取得可能であり、発現ＧＦＰは青色から黄色までの蛍光波長を有する蛍光物質を含む。このＧＦＰは、比較的小さいもの（２９．６ｋＤａ、４ｎｍ長で直径３ｎｍ）であって、その内部に十分に保護された発色団を持ち、光放出に際していずれの補助要因も必要としない。ＧＦＰを「発光」させるために必要なものは、ＧＦＰの蛍光波長よりやや短い波長のレーザーによる照明である。ＧＦＰは、それが結合されているＰｏＩの固有の機能に対しては本質的に「不活性」であると考えられる。このことは、タンパク質の周りをＧＦＰが自由にスイングすることを可能にする短く柔らかいポリペプチドの「リンカー」によってＧＦＰをＰｏＩに結合するいくつかの事例において確かめられたものである。これは、研究者によって研究されている細胞機能を維持するように、干渉が起こらないいくつかの細胞内構造や機構の一部であってもよい。

ＧＦＰのＸＹＺ座標が細胞内で正確に決定できるとすれば（１０ｎｍの精度という）、明らかに、ＰｏＩの位置も同様の精度で知ることができる。蛍光を発するＧＦＰは光学顕微鏡で観察することができるので、ＰｏＩの位置は、試料中の観察可能な構造に関連して顕微鏡で観ることができる。従来技術において、ＧＦＰと同様に量子ドットなどの各種蛍光マーカー（ＦＭ）からの精度の良い位置情報を達成するために、いくつかの技術が提案されており、特定の場合では実証されている。一つの技術では、緑色レーザーを使用して、試料中の蛍光マーカー（ＦＭ）の小さな領域を励起し、次いで試料が画像化される。ガウス曲線の当てはめを利用すると、ＦＭの位置は、画像化システムの回折限界より大幅に小さい２０ｎｍの半値全幅以内で決定することができる。複数の緑色レーザーフラッシュを、蛍光を消滅させる赤色レーザーフラッシュと交互に使用すると、多数のＦＭの位置は、典型的には数十分を要する工程において決定される。本出願の譲受人に譲渡され、参照により本明細書に組み込まれるＢｕｉｊｓｓｅらによる米国特許第７３１７５１５号の「蛍光マーカーを局在化する方法」に記載された別の技術によれば、荷電粒子ビームが試料表面を走査して、ビームがマーカーに当たったときにマーカーを損傷させ、蛍光を消滅させる。蛍光が消滅する場合、ＦＭの位置は荷電粒子ビームの位置に対応する。荷電粒子ビームは、マーカーを照射するレーザーよりずっと小さい点に集束され、そして、かかる走査中のある時刻の荷電粒子ビームの位置は高い精度をもって決定されるので、ＦＭの位置、つまり、ＰｏＩの位置は同様の精度で決定することができる。

本発明のここでのすべての記載において、用語ＧＦＰは、荷電粒子ビーム（電子又はイオンを含む）によって損傷されうるＦＭの包括的概念を示すものであり、ＧＦＰ、有機色素、ならびに、量子ドット（典型的には、タンパク質、核酸などの特定の細胞内構成要素に選択的に付着可能なように機能化される）などの無機のマーカーを含む。

生体試料内のＦＭを局在化するための従来の方法の多くは、比較的少数のＦＭに作用するものであり、そこからはある時刻において小さいサブセットが活性化するだけである。したがって、画像化時間が何分にも及び、依然として光学画像化のいくつかの制限を受ける。試料内のＦＭを選択的に損傷させるように荷電粒子ビームを用いる従来の方法は、比較的少数のＦＭのみを取り扱う画像処理方法を利用している。すなわち、これらの方法は、統計的な信号対雑音比のため、本質的に高密度で出現しないＦＭに対する適用に限定されるのである。ＧＦＰの場合、特に、このことは障害となるものである。（量子ドットのような機能化タグとは対照的に）いずれの型の発現タグも、タンパク質（ＧｏＩ＋リンカ＋ＧＦＰ）による翻訳に続く、ｍＲＮＡへの遺伝子転写の通常の細胞プロセスを通じて、多数が生成されるからである。したがって、細胞内又は細胞の断片内のＧＦＰなどのＦＭの多数（１００００個以上）を、時間フレーム、例えば、分程度で局在化するための高速な方法が求められている。

米国特許第７３１７５１５号明細書

本発明の目的は、試料中の標的タンパク質を位置決めするための改善された方法及び装置を提供することである。

好ましい実施形態では、緑色蛍光タンパク質（ＧＦＰ）や量子ドットなどの蛍光マーカー（ＦＭ）を含む試料を画像化するのに適した荷電粒子装置及び方法を含み、レーザーで同時にＦＭを励起しながら励起したＦＭから放出された光を収集しつつ、二次電子（ＳＥ）や透過電子（非散乱、弾性散乱及び／又は非弾性散乱）などの標準的な電子顕微鏡信号を使用する。

一実施形態では、二次電子及び放出光の両方に対して非常に大きな収集立体角を提供するような光学検出器の構成を備え、その二種の検出器の間には、ＳＥ及び光のための各収集立体角を減少させるような干渉がない。

本発明の一実施形態では、従来技術における簡易な画像処理方法よりも潜在的に多数のＦＭ（例えば、１００００個より大きい）を同時に局在化すること（約１分間での一回の走査中）が可能な例示的な画像処理方法を備える。

上記は、以下の本発明の特徴と技術的利点を概説したものであり、以下に記載された本発明の詳細な説明をより良く理解するためのものである。その他の本発明の特徴及び利点については以下に説明する。当業者によれば、ここの開示された概念及び特定の実施形態は、本発明と同様の目的を達成するために、改良や他の構成に変形する基礎として容易に利用できるものと理解される。また、当業者は、かかる均等な構成についても、添付された特許請求の範囲に記載された発明の趣旨と範囲から逸脱しないものと理解する。

本発明の一実施形態によれば、荷電粒子システムは、蛍光マーカーを含む試料の上に荷電粒子ビームを指向させる荷電粒子光学カラムと、前記荷電粒子ビームの衝撃により前記試料から放出される二次電子を収集する二次電子検出器と、前記試料中の前記蛍光マーカーを励起する光源と、前記試料中の前記蛍光マーカーから放出される蛍光を検出する光検出器と、導電性ミラーと、を備え、前記導電性ミラーが、前記光源からの光を前記荷電粒子ビームの衝撃点を含む前記試料の領域へ指向させ、前記蛍光マーカーから放出された前記蛍光を前記光検出器に向けて反射させ、前記試料からの前記二次電子を前記二次電子検出器へ偏向させる電界を与えるように構成されるここを特徴とする荷電粒子システム。

一実施形態において、荷電粒子システムのミラーは、前記試料の領域の上に光を集束し、前記試料の領域からの光を収集するための放物面鏡であって、焦点が前記荷電粒子ビームの前記衝突点の近傍にある。

一実施形態において、荷電粒子システムは、さらに前記ミラーと前記光検出器との間に配置されるビームスプリッタを備え、前記ビームスプリッタが、前記ミラーによって反射された前記蛍光を光検出器へ伝搬させ、前記光源から前記ミラーに向けて光を反射させるように構成される。また、一実施形態において、さらに前記ビームスプリッタと前記光検出器との間に配置されるカラーフィルタを備え、前記カラーフィルタの透過率は、前記光源からの光の透過をほとんど遮断するが、前記マーマーカーによって放出される蛍光を通過させるように調整される。

一実施形態において、前記試料から放出される光及び二次電子の両方についての収集立体角がπ／２ステラジアンより大きい。

一実施形態において、蛍光マーカーは、標的遺伝子に連結された遺伝子によって発現される蛍光マーカー、又は特定の細胞内構成要素に選択的に付けられる無機蛍光マーカーを含むことを特徴とする請求項１に記載のシステム。

一実施形態において、光検出器は、複数の検出器を備え、前記複数の検出器における各検出器が特定の種類の蛍光マーカーからの蛍光を収集するように構成される。また、一実施形態において、前記光検出器及び前記ミラーが前記試料の上方に配置され、さらに、前記試料の下方に配置される透過電子検出器と、前記試料中の前記マーカーから放出される蛍光のための第２光検出器と、前記試料と前記透過電子検出器との間に配置される第２ミラーとを備え、前記第２ミラーは、前記試料に対する前記荷電粒子ビームの衝突点の近傍に位置する焦点を有し、前記マーカーから放出された蛍光を前記第２光検出器に向けて反射させるように構成される。

本発明の一実施形態によれば、荷電粒子システムは、荷電粒子を生成する荷電粒子ビーム源と、蛍光マーカーを含む試料の上に前記荷電粒子ビーム源からの荷電粒子ビームを集束させる荷電粒子ビーム光学カラムと、試料位置で試料を保持し、前記試料位置を介して試料面が前記荷電粒子ビーム源を含む前記試料面の上の領域と前記試料面の下の領域とに空間を分割する試料ステージと、前記試料に対する前記荷電粒子ビームの衝撃により前記試料から放出される二次電子を検出し、前記試料面の上に配置される二次電子検出器と、前記試料中の蛍光マーカーを照射する光源であって、その光源からの光が初めに前記試料の上方から前記試料を照射する光源と、前記試料中の前記マーカーから放出される蛍光を検出する光検出器と、前記試料面の上に配置されるミラーと、備え、前記ミラーは、前記蛍光マーカーに蛍光を生じさせる前記光源からの光を前記試料表面の上に指向させ、前記蛍光マーカーから放出された光を、その光が前記試料をまったく通過しないように、前記光検出器の上に偏向させるように構成される。

一実施形態において、荷電粒子システムのミラーは、導電性の放物面鏡を備える。一実施形態では、前記ミラーは、光の焦点を有し、前記焦点が前記試料に対する前記荷電粒子ビームの衝突点の近傍に位置する。また、一実施形態では、前記ミラーは、前記光源から前記試料の上へと光を集束させ、前記蛍光マーカーから放出された蛍光を光検出器へ向けて反射させるように構成される。

一実施形態において、荷電粒子システムは、さらに、荷電粒子ビームが通過する孔を有する電極を備え、前記電極は、その電極と前記試料から前記二次電子検出器へ前記二次電子を偏向可能に設定された導電性の放物面鏡との間に電界を形成するように構成される。一実施形態において、前記電極は、おおよそ前記試料の電位にバイアスされる。

本発明の一実施形態によれば、荷電粒子ビームシステムにおいて試料からの荷電粒子及び光を収集する装置は、荷電粒子ビームが通過する間隙を有するミラーであって、前記試料から光検出器へ光を反射させるように構成されたミラーと、前記試料からの光を検出する荷電粒子検出器と、前記ミラーと前記試料との間に電界を形成するように電気的にバイアスされ、その電界が前記試料からの荷電粒子を前記ミラーに衝突しないように妨げ、前記試料からの前記荷電粒子を前記荷電粒子検出器に向けて偏向させる導電体と、を備える。

一実施形態では、前記荷電粒子検出器は、前記荷電粒子ビームが前記ミラーから出射される位置より下方の平面に配置される。一実施形態では、前記ミラーの導電部が前記ミラーと前記試料との間に前記電界を形成する前記導電体を備える。一実施形態では、前記導電部が金属反射層を備える。

本発明の一実施形態によれば、試料中の蛍光マーカーを局在化する方法は、蛍光マーカーを励起させるように前記試料に光を照射し、その光を導電性の第１ミラーによって前記試料の上に集束するよう前記試料を照射するステップと、荷電粒子ビームをパターンで試料表面上に指向させ、前記荷電粒子を試料において前記光の照射領域より小さい領域に衝突させるステップと、前記蛍光マーカーから放出され、前記荷電粒子ビームを通過させる開口を有する前記第１ミラーによって検出器に向けて反射された前記試料からの光を検出するステップと、前記荷電粒子ビームを前記試料の表面を横切るパターンで走査し、前記荷電粒子ビームが衝突したとき前記蛍光マーカーの少なくとも一部は蛍光を減少させるステップと、前記試料上への前記荷電粒子ビームの衝突によって生じた前記試料からの荷電粒子を前記第１ミラーから離して前記検出器に向けて偏向させるステップと、前記荷電粒子ビームのパターン中の既知の位置から、前記試料中の前記蛍光マーカーからの光放出の合計において減少が検知された場合、前記蛍光マーカーの位置を決定するステップと、を備える。

一実施形態において、試料中の蛍光マーカーを局在化する方法は、さらに、前記荷電粒子ビームの画像上に重ね合わされた蛍光マーカーの位置を含む、前記荷電粒子ビームに基づく画像を表示するステップを備える。一実施形態では、前記蛍光マーカーは、遺伝的な発現マーカーを備える。また、一実施形態では、前記遺伝的な発現マーカーが緑色蛍光タンパク質を備える。

一実施形態において、前記蛍光マーカーは、特定の細胞内構成要素に選択的に付着することが可能な機能化された無機蛍光マーカーを備える。一実施形態では、前記蛍光マーカーから放出される光を検出する際、前記試料内の複数の種類の蛍光マーカーからの光を別々に検出する。

一実施形態において、荷電粒子ビームは、電子ビーム又は集束イオンビームを備える。また、一実施形態において、前記荷電粒子検出器は、前記試料の前記ミラーと同じ側にあって、前記ミラーの下方に配置される。

一実施形態では、前記試料からの荷電粒子を前記第１ミラーから離して前記検出器に向けて偏向させる際は、前記ミラー上に電気的なバイアスを提供することを含む。一実施形態では、前記試料から放出された光が、前記試料に関して前記第１ミラーとは反対側にある第２ミラーによって収集される。

一実施形態では、格納された画像データの処理において、前記画像データを平滑化関数と組み合わせて平滑化画像データを生成するステップと、前記平滑化画像データを導関数と組み合わせて導関数画像データを生成するステップと、前記導関数画像データの局所的な最小の位置を特定するステップと、前記最小の値を所定の最大しきい値と比較するステップと、前記局所的な最小値が前記しきい値より低い場合、前記荷電粒子ビームの位置に対応する画像の位置を示す標示を前記画像上に表示するステップと、を備える。

本発明の一実施形態によれば、格納された画像データに対する画像処理方法は、試料の領域を横切るパターンで荷電粒子ビームを指向させ、前記荷電粒子ビームの衝突により前記試料から放出された荷電粒子を検出して荷電粒子画像信号を生成し、前記荷電粒子画像信号を用いて荷電粒子ビーム画像を生成し、前記試料の領域から放出された光を検出し、画像曲線を形成する時間にかけて前記検出した光信号を増幅させ、前記画像曲線を平滑化関数に畳みこんで平滑化画像データを生成し、前記平滑化画像データを導関数と組み合わせて導関数画像データを生成し、前記導関数画像データの局所的な最小に対応する値、及び前記導関数画像データの局所的な最小に対応する前記荷電粒子ビームの位置を決定し、前記最小の値を所定の最大しきい値と比較し、個々の局所的な最小の値が前記しきい値より低い場合、前記荷電粒子ビーム画像上に標示を表示する。

本発明とその利点をより完全に理解するため、添付の図面と併せて以下の説明を参照されたい。

リンカーで付着した緑色蛍光タンパク質（ＧＦＰ）１０４を伴う標的タンパク質（ＰｏＩ）の概略図である。 ＧＦＰを含むピクセル及びＧＦＰを含まないピクセルが例示されたＸＹ走査ラスターの概略図である。 試料の上方に光学検出器を備える本発明の第１の実施形態の概略図である。 図３の光学検出器の光及び二次電子の軌道の両方の断面図である。 図３及び４Ａの光学検出器の切欠きの等角図である。 試料の下方に光学検出器を備える本発明の第２の実施形態の概略図である。 試料の上方及び下方の両方に光学検出器を備える本発明の第３の実施形態の概略図である。 走査領域に１００個のＧＦＰを含む場合のラスター走査時の時間の関数である信号のグラフである。 図７のグラフの開始部分の拡大図を示すグラフであり、合計１００個のＧＦＰのうちの最初の８個の損傷を示すグラフである。 走査領域に１００００個のＧＦＰを含む場合のラスター走査時の時間の関数である信号のグラフである。 図９のグラフの開始部分の拡大図を示すグラフであり、合計１００００個のＧＦＰのうちの最初の８個の損傷を示すグラフである。 ラスター走査時の時間の関数である統計的雑音を含む原信号及び平滑化信号を示すグラフであり、合計１００個のＧＦＰのうちの最初の３個の損傷を示すグラフである。 平滑化関数及び導関数を示すグラフである。 ラスター走査時の時間の関数である統計的雑音を含む原信号、平滑化信号及び平滑化された導関数を示すグラフであり、合計１００個のＧＦＰのうちの最初の３個の損傷を示すグラフである。 ラスター走査時の時間の関数である統計的雑音を含む原信号及び平滑化信号を示すグラフであり、合計１００００個のＧＦＰのうちの最初の３個の損傷を示すグラフである。 ラスター走査時の時間の関数である統計的雑音を含む原信号、平滑化信号及び平滑化された導関数を示すグラフであり、合計１００００個のＧＦＰのうちの最初の３個の損傷を示すグラフである。 走査領域中の合計１００００個のＧＦＰのうち最初の３個のＧＦＰを検出する際に多量の統計的雑音が存在する走査信号において、ＧＦＰを位置特定する画像処理方法の性能を示すヒストグラムである。 画像処理方法の最適化の結果のグラフである。 試料中のＧＦＰなどの発現タグを局在化するための本発明の方法のフローチャートである。 試料中の量子ドットなどの機能化タグを局在化するための本発明の方法のフローチャートである。 二次電子と蛍光マーカー画像とを組み合わせた概略図である。 蛍光マーカーを局在化するための画像処理方法のフローチャートである。

本発明のいくつかの実施形態では、二次電子及び光の両方に対して同時に非常に高い収集効率を与えるように最適化され、二つの検出器の間に空間的干渉のない光学検出器システムを備える荷電粒子システムを提供する。いくつかの実施形態において、これは少なくとも一つのミラーによって達成され、荷電粒子ビームが試料表面上に衝突する点が放物面（一つ又は二つのいずれか）の焦点又はその近傍に位置するものであるような試料の上方及び／又は下方の放物面鏡であることが好ましい。焦点が荷電粒子の「近傍」に位置するとは、ミラーから反射される光によって照射される領域が、荷電粒子ビームが衝突する領域を含み、かつそれより大きいことを意味する。

さらに、光学放物面鏡の導電性表面、典型的には金属は、試料とミラーとの間に電界を与えるように電気的にバイアスされ（典型的にはマイナス数百ボルト）、二次電子がミラーに衝突しないようにそれを偏向させ、二次電子を検出器に反射させる。このように、試料から放出された光子及び二次電子（ＳＥ）の両方は、大きな立体角、好ましくはπ／４ステラジアンよりも大きく、よりこの好ましくはπ／２ステラジアンよりも大きく、最も好ましくは、πステラジアンより大きい立体角によって収集される。これによって、光とＳＥの立体角が空間的に分離されて相互に干渉する検出器システムではこれまで実現できなかった効率性（及びその結果として高い信号対雑音比）を提供する。二次電子検出器は、荷電粒子ビームが図３、４Ａ及び４Ｂにおけるミラー３１４を出る点より下方に配置されることが好ましい。

いくつかの実施形態では、これらの高効率の光検出システムに加え、光信号の統計的（確率的）雑音の問題が扱われる。本発明の画像化モードでは、各ＦＭを局在化するためのエネルギーを有する荷電粒子（電子又はイオン）ビームに起因する、ＧＦＰなどのＦＭの１個の選択的な損傷を利用するため、この雑音が発生する。１個のＦＭが損傷すると、試料からの光放出の合計において１個分の損失が生じることとなり、例えば、合計１００００個のＦＭのうち１個のＦＭが外れると、光放出は、約０．０１％分減少する。放出光におけるこのような微小な減少を検出するためには、ドゥエルタイムにかけて平均化された放出光の揺らぎに起因する統計的雑音を、この例においては、実質的に０．０１％より大きくしないようにする必要がある。類似の方法は、より少数のＦＭを扱う従来技術、例えば、本発明の譲受人に譲渡された米国特許第７３１７５１５号などに記載されている。これらの場合、局在化できるＦＭの数量は限られていた。

試料中のマーカー（ＧＦＰ、有機色素又は量子ドットなど）からの蛍光の放出による光学信号において、信号対雑音比を改善することの利点は、本発明の別の態様においてさらに大きくなる。別の態様とは、原画像信号に大きな統計的雑音が存在する場合であっても、ＦＭ損傷イベントが決定されるタイミング（つまり、位置）を特定可能な画像処理方法である。

［発現タグとしての蛍光マーカー］
図１は、リンカーペプチド１１０で付着した緑色蛍光タンパク質（ＧＦＰ）１０４を伴う標的タンパク質（ＰｏＩ）１０２の概略図１００を示すものである。典型的なＧＦＰでは、直径１０６が３ｎｍ、長さ１０８が４ｎｍである。ＧＦＰ１０４の「βバレル」構造の詳細については省略する。一般的には、標的タンパク質ＰｏＩ１０２は、図示されるように、ＧＦＰ１０４より大きい。発現タグを使用する際の一つの重要な考慮事項は、そのタグが、代謝、輸送、構造等のいずれについても、細胞内での標的タンパク質の正常な機能を妨げないようにすることである。したがって、堅固なＧＦＰ１０４をＰｏＩ１０２に繋ぐために短いペプチドリンカー１１０がよく用いられ、ＧＦＰ１０４は半径１１４の円弧１１２の周りを揺れ動くことができる。なお、ＧＦＰ１０４は円１１２上の任意の位置に存在できるように自由であるので、半径１１４はＧＦＰ１０４の存在できる位置の最大の精度を決定する。したがって、ＧＦＰ１０４を５〜８ｎｍの範囲内に配置すれば、いずれの位置決定方法、例えば、本発明に対しても、同様に本発明の譲受人に譲渡され参照により本明細書に組み込まれる米国特許第７３１７５１５号において記載された従来技術に対しても、十分なものとなり得る。

レポーター遺伝子、例えば、ヒドロ虫綱クラゲ目オワンクラゲに由来する「緑色蛍光タンパク質」（ＧＦＰ）の各種型を、組換え的に遺伝子に連結する方法がよく知られている。１９５０年代にＧＦＰの原種が発見されて以来、青色光から黄色光の蛍光範囲に改善された蛍光スペクトルを有し、簡易なスペクトル吸収分布を有する多くの変位株が開発されてきた。ＧＦＰは、２３８個のアミノ酸（２６．９ｋＤａ）を含む比較的小さなシリンダ（「βバレル」、直径３ｎｍ長さ４ｎｍ）であって、種の全体的な細胞機構に対して本質的に「不活性」であると考えられ、クラゲから分離することが可能である。このため、ＧＦＰの利用は、生物学コミュニティに広く受け入れられている。特に重要なことであるが、発現マーカーとしてＧＦＰをもっと広く利用すれば、本発明は現在のＧＦＰの局在化方法では十分な精度を持たない分野の生物学コミュニティに対して潜在的にもっと有用なものとすることができる。以下の３つの実施形態の動作の説明を通して、ＧＦＰが多数の変位株を有し、それらが検査対象である生体試料において同時に発現する多数の遺伝組換えのレポーター遺伝子となることが理解される。同様に、３つの実施形態における光検出器は、独立して動作する複数の検出器を備えるとともに、試料中の多数のＧＦＰ型のうち特定のＧＦＰ型からのそれぞれの光を検出するものであることが理解される。

本発明は、観察する画像化領域内に少数のＧＦＰ（１０〜数１００個）が存在する場合、並びに、より多数のＧＦＰ（少なくとも１００００個以上）が存在する場合の両方に適用することができる。本発明の改善された画像処理方法は、どちらの場合にも適用可能である。各ＧＦＰ変異株は、固有のスペクトル吸収及び発光特性を有する。元の「野性型」ＧＦＰ（ｗｔＧＦＰ）を例にとると、３９５ｎｍでの吸収ピークと５０９ｎｍでの発光ピークを有する。ｗｔＧＦＰは４７５ｎｍでの好ましくない第２の吸収ピークを有するので、例えば、第２の吸収ピークを持たず、４８４ｎｍでの吸収ピークと５０７ｎｍでの発光ピークを有するＳ６５Ｔ変異体のような改良型を開発するための努力がなされてきた。ＧＦＰを発現タグとして機能させる主な態様では、発現タグは試料内に多数存在してもよく、これは本発明の効率的な光検出と画像処理を要する。

［荷電粒子システムにおける蛍光マーカーの画像化方法］
図２は、３２×３２ピクセルのＸＹ走査ラスター２００の概略図であり、ＧＦＰを含むピクセル２０８及びＧＦＰを含まないピクセル２０６を示す。高速の走査軸２０２はＸ方向に沿うものであり、一方、低速の走査軸２０４はＹ方向に沿うものである。通常のラスター走査では、ビームは最初に左上に配置され、次いで一番上の行に沿って右上に移動する。次に、ビームは、なぞり直されて左辺まで戻り、一行下に移動し、再び水平に右に走査することを続ける。この工程は、３２×３２＝１０２４ピクセルが描画されるまで繰り返される。本例では、白色ピクセル２０６はＧＦＰを含まないものを表すが、黒色ピクセル２０８は一つのＧＦＰを含むものを表わす。このＧＦＰの密度については、ポアソン分布を適用して一つ以上のＧＦＰを含むピクセルがないものと近似できる程度に十分低いと仮定している。ＧＦＰは細胞（又は細胞断片）内の特定の標的タンパク質（ＰｏＩ）の位置を示す発現タグであるので、ＧＦＰの分布は多くの場合不均一であり、細胞内で正常に機能するための所要の位置に応じた標的タンパク質の不均一な分布が示される。

３つの例示的なシステム構成を以下に示す。第１の構成は厚い試料に適用可能であり、試料の前側表面からのすべての信号を収集する（すなわち、ＳＥＭモードでの動作）。第２の構成では、電子及び光の光学検出器が試料下方に配置される（すなわち、ＴＥＭ又はＳＴＥＭモードでの動作）。そして、第３の構成では、試料内で励起された蛍光タンパク質から放出された光を最大限の収集効率で検出可能なように試料の上方及び下方に検出器システムが組み合わされて配置される。

［第１の実施形態−試料上方の光学検出器］
図３は、試料３０６の上方に光学検出器を備える本発明の第１の実施形態３００の概略図である。試料３０６は、標的遺伝子に連結される遺伝子によって発現する蛍光マーカー、あるいは特定の細胞内構成要素に選択的に付着される無機マーカーを含む生体試料を含んでもよい。試料３０６は、また、特定の細胞内構成要素に選択的に付着させて機能化する色素又は他の無機マーカー（例えば、量子ドット）を含む生体試料を含んでもよい。試料３０６は、試料面を定める試料位置で試料ステージに載置される。

電子ビームカラム又は集束イオンビームカラムなどの荷電粒子カラム３０２は、カラム３０２によって試料３０６の表面の位置３０８に集束される荷電粒子のビーム３０４を生成する。ビーム中の電子は、通常、１０００ｅＶから２５０００ｅＶの範囲のエネルギーを有する。イオンは、通常、５０００ｅＶ〜５００００ｅＶの範囲のエネルギーを有する。ＸＹビーム偏向器３１０（磁気コイル、静電多極子又は磁気コイルと静電多極子との両方の組み合わせを含むことができる）は、典型的には図２に示したように画像化のためのＸＹラスタパターンで試料３０６表面上の周りにビーム３０４を移動可能なように構成される。

この本発明の第１の実施形態３００では、試料３０６は、ビーム３０４が試料３０６を通過して通り抜けることを妨げるような十分な厚さを有するものと仮定し、したがって、すべての画像化信号（光と荷電粒子の両方）は図示されたように試料表面の上側で収集される。放物面鏡３１４は、偏向器３１０と試料３０６との間に配置される。放物面鏡３１４の孔３１２は、ビーム３０４を試料３０６に向けて下方に通過させる。放物面鏡３１４の下方には、平らな遮蔽板３１６が設けられ、通常、試料３０６と同じ電圧にバイアスされる。光について最大の収集効率を実現するために、放物面鏡３１４は、最大限可能な立体角をもって構成され、位置３０８でπステラジアンより大きいことが好ましい。そして、位置３０８で蛍光マーカー（ＦＭ）から放出される光の最大限可能な量が収集され、ビームスプリッタ３２６、次いでカラーフィルタ３７２を介して送出され、そして最後に検出器３６０に到達する。これによって、光学信号において達成可能な信号対雑音比を最大化する。

蛍光マーカー（ＦＭ）は、レーザー３２２からの光３２４によって励起されるが、光３２４は上方に放出され、最初にビームスプリッタ３２６で反射し、次いで放物面鏡３１４によって試料３０６の表面の上に位置３０８で集束される。なお、検出器３６０に到達する光量を増加させるために、ビームスプリッタ３２６を介してＦＭからの放出光を可能な限り多く透過させることが望ましい。ビームスプリッタ３２６の透過率が５０％である場合、位置３０８からの光信号３２７の半分が検出器３６０に到達し、レーザー３２２からの励起光３２４の半分が位置３０８に到達する。この場合、位置３０８に向けてレーザー３２２から３ｍＷを集束させるためには、６ｍＷのレーザー出力３２４を必要とする（他の反射損失は無視する）。十分なレーザー出力が利用可能な場合、ビームスプリッタ３２６の透過率を例えば８０％まで増加させると好ましい（その結果、反射率は減少する）。そして、位置３０８からの光の８０％がビームスプリッタ３２６を透過し（ここでも反射損失は無視する）、一方で、レーザー３２２からの光３２４の２０％のみが位置３０８に到達する。したがって、位置３０８で３ｍＷを集束させるには、１５ｍＷのレーザー出力パワー３２４が必要である（１２ｍＷはビームスプリッタ３２６を透過してしまい、スプリッタ３２６の上方のビームダンプ（図示せず）に吸収される）。本実施形態では、レーザー３２２からの光は、放物面鏡３１４によって試料３０６の表面上部に向けて反射される。すなわち、光は放物面鏡３１４によって反射される前には試料３０６を通ることがなく、光源からの光は最初に試料の上方から試料を照らすのである。同様に、試料３０６内の蛍光マーカーから放出される光は、試料３０６の表面上部を通して放出さされ、試料３０６の上方の放物面鏡３１４によって収集され、検出器３６０に向けて反射されるので、米国特許第７３１７５１５号のようには試料３０６を完全に通過して反対側のミラー収集されることがない。

放物面鏡３１４の第２の機能は、電界を形成するために電気的にバイアスすることができる導電体を提供することであり、この電界は、一次荷電粒子ビーム３０４の衝突によって位置３０８から放出される二次電子（ＳＥ）３３２が反射する際に、二次電子が放物面鏡３１４に衝突することを防止するものである。このことは図４Ａ及び４Ｂにおいてさらに詳細に示される。ＳＥ３３２は、（導電体の）鏡表面に印加される数百ボルトの負電位によって偏向される。なお、ＳＥはミラー３１４又は他の導電体に印加される電圧によって生じる静電界によって跳ね返され、また、この電界は放物面鏡３１４の全体を覆うものであるので、ＳＥは光３２８と同じ経路では反射しない（放物面鏡３１４の等角図を示す図４Ｂを参照）。ＳＥ３３２は、試料３０６の側方に示すような検出器３２０に向けて偏向され、収集される。このように、光及び二次電子の両方は、光とＳＥとの収集立体角の間に競合がないので、位置３０８から高い効率で収集される。孔３１２の大きさは、光の反射の損失、及び二次電子を偏向させる静電界の乱れの両方を低減するように最小限とすることが好ましい。放物面鏡３１４の焦点は、おおよそ、試料３０６の表面上の位置３０８である。したがって、位置３０８近傍から放出された光は、ほぼ平行なビーム光３２８となって、図３の右側の方向へ向けられる。ＳＥをミラーから離す電界は導電性のミラーによって生成されることが好ましいが、電界は、ミラーとは別の導電体により生成されてもよい。電気的なバイアスは、また、荷電粒子検出器３２０の入口側に印加することもできる。

システムコントローラ３６２は、ケーブル３７０を介して荷電粒子カラム３０２に、ケーブル３６８を介してＸＹ偏向器３１０に、ケーブル３６６を介して放物面鏡３１４に、ケーブル３７６を介して遮蔽板３１６に、及びケーブル３７４を介してレーザー３２２に電気的に接続される。システムコントローラ３６２は、モニタ（図示せず）上の画像表示を用いてＸＹ偏向器３１０によりビーム３０４の走査を調整し、並びに、試料表面のＦＭを特定するために以下に説明する画像処理の計算を実行する。

荷電粒子ビームは、通常、真空中で伝搬する必要があり、したがって、真空室３３４は、図示のとおり、荷電粒子カラム３０２の出射口、ＸＹ偏向器３１０、放物面鏡３１４、遮蔽板３１６、及び試料３０６を含む。一般的に、可能な限り多くの光学機器を真空外に配置する方がより簡単であり、この場合、ビューポート３５６は、レーザー３２２からの光（ビームスプリッタ３２６で反射されたもの）を真空室３３４に通過させることができ、一方で、位置３０８でのＦＭからの放出光を真空室３３４から通過させることでき、ビームスプリッタ３２６を介して、次いで、カラーフィルタ３７２を介して検出器３６０に到達させる。カラーフィルタ３７２は、検出器３６０に到達するレーザー励起光３２４の量を低減するのに役立つ。励起光は常にＦＭからの放出光よりも短い波長を持っているので、レーザー光のほとんどを阻止しながら、ＦＭからの放出光のほとんどを通過させるようにフィルタ３７２の通過帯域を調整することができる。いくつかの場合では、検出器３６０内で追加の光フィルタリングを設けてもよい。貫通孔３５４は、ケーブル３６６、３６８及び３７０を真空室３３４に通すことを可能にし、貫通孔３５２は、ケーブル３７６、３７８及び３８０を真空室３３４に通すことを可能にする。

［光及び二次電子を高効率で収集するための光学検出器］
図４Ａは、図３の光学検出器の光及び二次電子の軌道の両方を描くＳＩＭＩＯＮ光線−軌跡計算プログラムを用いて作成された断面図４００である。一次ビーム３０４が放物面鏡３１４の孔３１２を介して下方に通過していることが観察できる。一次ビーム３０４が試料３０６の位置３０８に衝突すると、コサイン分布での二次電子３３２の放出を引き起こす（ランベルトの法則）。遮蔽板３１６と試料３０６は、一般的に、システムコントローラ３６２（図３参照）によって印加された同じ電圧を有する。図示のとおり、（０〜５０ｅＶの）二次電子３３２をはじくために導電性のミラー３１４の表面に負の数百ボルトのバイアスが印加される。この反射は、光の反射とは異なり、鏡面反射ではなく放物面鏡３１４から離れて反射するものであり、したがって、ＳＥは、試料３０６の側方の検出器３２０で収集される。位置３０８での収集立体角は、非常に大きく、πステラジアンより大きいことが好ましい。この構成では、二次電子像の良好な信号対雑音比を得ることができる。試料３０６の蛍光マーカー（ＦＭ）からの放出される光は、また、コサイン分布で放出され、図示のとおり、分布における多数の微小断片が放物面鏡３１４に向けられる。試料３０６上での位置３０８が放物面鏡３１４の焦点であるので、放物面鏡３１４で反射する光３２８は、一般的に、図４Ａの右側へ平行に伝搬する。この放物面鏡３１４の利点は、他の応用にも利用することができ、荷電粒子ビームシステムにおいて光が試料に向けられる、又は試料から検出される際にも利用することができる。放物面鏡３１４により利点を得られるシステムとしては、荷電粒子ビームと同軸である光学顕微鏡において光を収集するシステム（例えば、ＲＡＳＭＵＳＳＥＮによる米国特許第６３７３０７０号「集束イオンビームと同軸光学顕微鏡のための方法装置」に記載のシステム）や荷電粒子ビームに起因するフォトルミネッセンス又はルミネッセンスからの光を収集するシステムを含む。

図４Ｂは、図４Ａの光学検出器の切欠きの等角図であり、また、ＳＩＭＩＯＮを使用して作成されたものである。さらに、ビームスプリッタ３２６が右下方に示される。ＳＥ３３２が楕円形のパターンで検出器３２０に衝突していることが観察できる。このように検出器３２０の面積は過度に大きくする必要はない。すなわち、小さな検出器領域で検出器帯域幅を増加させてもよく（少なくとも固体検出器）、一般的にこの方が好ましい。

［第２の実施形態−試料下方に配置される光学検出器］
図５は、本発明の、試料５０６の下方に光学検出器を備えた第２の実施形態の概略図５００である。荷電粒子のカラム５０２（例えば、電子ビームカラム又は集束イオンビームカラム）は荷電粒子のビーム５０４を生成し、それは試料５０６の表面の位置５０８でカラム５０２によって集束される。ビーム５０４は、通常、約５０ｋｅＶから３００ｋｅＶの範囲のエネルギーを有する電子を含む。ＸＹビーム偏向器５１０（磁気コイル、静電多極子、又は磁気コイルと静電多極子の両方の組み合わせを含むことができる）は、典型的には、画像化のＸＹラスタパターンで、試料５０６表面上の周りにビーム５０４を移動可能なように構成される。この本発明の第２の実施形態５００では、試料５０６は、ビーム５０４が試料５０６を通過可能なように十分薄いと仮定され、したがって、すべての画像信号（光と荷電粒子の両方）は図示されたように試料表面の下方で収集される。放物面鏡５８０は、試料５０６の下方に配置される。放物面鏡５８０の孔５８２は、試料５０６を通過した後の荷電粒子ビーム５８４の下方への伝搬を可能にする。ビーム５８４は、一般的には、一次ビーム５０４からの非散乱の粒子、試料５０６において弾性的に散乱する粒子、非弾性的に散乱する粒子、二次電子及び／又はイオン、及び弾性的及び非弾性的に散乱する両方の粒子を含んでもよい。孔５８２を通過した後、ビーム５８４は、検出器５８６に到達し、かかる検出器は、上記で述べた各種の透過粒子を区別するエネルギーフィルタ、及び並列に動作可能な複数の検出器を備えるものである。

最大限の光の収集効率を達成するため、放物面鏡５８０は、位置５０８で可能な最大の立体角（典型的にはπステラジアン以上）を形成するように構成される。したがって、位置５０８で蛍光マーカー（ＦＭ）からの放出された光の最大限可能な量が収集され、ビームスプリッタ５９６を介して、次いでカラーフィルタ５９８を介して、最終的には光検出器５９０に伝達される。これによって、光信号について達成可能な信号対雑音比を最大化する。ＦＭは、レーザー５２２から上方に出射され、最初にビームスプリッタ５９６で反射され、次いで放物面鏡５８０によって反射、集束されて、試料５０６を通過する光５９４によって励起される。なお、検出器５９０に到達する光量を増加させるため、ビームスプリッタ５９６を通過する光の透過率を可能な限り最大とすることが望ましい。すなわち、前述した図３に示したものと同じ透過率を適用することが考えられる。孔５８２の大きさは、ビーム５８４内の弾性散乱した電子を通過させるのに十分な大きさを維持しつつ、光の反射損失を低減するように最小限に抑えることが重要である。放物面５８０の焦点は、おおよそ試料５０６上の位置５０８にあり、したがって、位置５０８の近傍からの放出光は、ほぼ平行光ビーム５８７となって、図の右方向へ進行する。

システムコントローラ５６２は、ケーブル５７０を介して荷電粒子カラム５０２に、ケーブル５６８を介してＸＹ偏向器５１０に、ケーブル５６６を介して試料５０６に、ケーブル５７４を介してレーザー５２２に、ケーブル５６４を介して検出器５９０に、及びケーブル５８８を介して検出器５８６に電気的に接続される。システムコントローラ５６２は、モニタ（図示せず）上の画像表示を用いてＸＹ偏向器５１０によりビーム５０４の走査を調整し、並びに、試料表面のＦＭを位置特定するために以下に説明する画像処理の計算を実行する。

荷電粒子ビームは、通常、真空中で伝搬する必要があり、したがって、真空室５３４は、図示のとおり、荷電粒子カラム５０２の出射口、ＸＹ偏向器５１０、試料５０６、放物面鏡５８０及び検出器５８６を含む。ビューポート５５６は、レーザー５２２からの光５８７（ビームスプリッタ５９６から反射されたもの）を真空室５３４に通過させることができ、一方で、位置５０８でのＦＭから放出された光を真空室５３４外に通過させることでき、ビームスプリッタ５９６、次いで、カラーフィルタ５９８を介して検出器５９０に到達する。カラーフィルタ５９８は、図３の第１の実施形態と同様に、検出器５９０に到達するレーザー励起光５９４の量を低減するのに役立つ。図３のビームスプリッタ３２６に示したように、ビームスプリッタ５９６にも同じ反射率が適用される。貫通孔５５４は、ケーブル５６６、５６８及び５７０を真空室５３４に通すことを可能し、貫通孔５５２は、ケーブル５８８を真空室５３４に通すことを可能する。

［第３の実施形態−試料上方及び下方の両方の光学検出器］
図６は、本発明の、試料６０６の上方及び下方の両方に光学検出器を備える第３の実施形態６００の概略図である。荷電粒子カラム６０２（例えば、電子ビームカラム又は集束イオンビームカラム）は、荷電粒子のビーム６０４を生成し、それはカラム６０２によって試料６０６の表面の位置６０８で集束される。ＸＹビーム偏向器６１０（磁気コイル、静電多極子、又は磁気コイルと静電多極子の両方の組み合わせを含むことができる）は、典型的には、画像化のＸＹラスタパターンで、試料６０６の表面上の周りにビーム６０４を移動可能なように構成される。この本発明の第３の実施形態では、試料６０６は、試料６０６を介するビーム６０４の通過が可能なように十分に薄いと仮定される。光の高い収集効率を達成するため、２つの放物面鏡６１４及び６８０が、それぞれ、試料６０６の上方及び下方に配置される。放物面鏡６１４の孔６１２は、試料６０６に向かうビーム６０４の通過を可能にする。放物面鏡６８０の孔６８２は、試料６０６を通過した後の下方に伝搬する荷電粒子６８４の通過を可能にする。ビーム６８４は、典型的には、一次ビーム６０４からの非散乱粒子、試料６０６での弾性的な散乱粒子、非弾性的な散乱粒子、二次電子及び／又はイオン、弾性的及び非弾性的な散乱粒子の両方を含んでもよい。孔６８２を通過した後、ビーム６８４は、上述した各種の透過粒子を区別するエネルギーフィルタ、及び並列に動作可能な複数の検出器を備える検出器６８６に到達する。一次ビーム６０４の衝突によって位置６０８から生じる二次電子６３２を検出器６２０で収集することは図３、図４Ａ及び４Ｂと同じと考えてよい。

光の最大の収集効率を達成するために、放物面鏡６１４及び６８０の両方が、位置６８０で可能な限り最大の立体角（典型的には、各放物面鏡についてπステラジアンより大きく、合計で２πステラジアンより大きい）を形成するように構成させる。位置６０８で蛍光マーカー（ＦＭ）から放出された上向きの放出光の最大限可能な量が収集され、ビームスプリッタ６２６を介して、次いで、カラーフィルタ６７２を介して、そして検出器６６０に伝搬される。これによって、光信号について達成可能な信号対雑音比を最大化する。同様に、位置６０８で蛍光マーカーから放出された下向きの放出光の最大限可能な量が収集され、カラーフィルタ６９８を介して、次いで検出器６９０に伝搬される。蛍光マーカーは、レーザー６２２から上方に出射される光６２４によって励起されるが、光６２４は最初にビームスプリッタ６２６で反射され、次いで放物面鏡６１４によって反射され、試料６０６の位置６０８に集束する。なお、検出器６６０に到達する光量を増加させるため、ビームスプリッタ６２６を通過する光の透過率を可能な限り最大とすることが望ましい。すなわち、前述した図３及び図５に示したものと同じ透過率を適用することが考えられる。孔６１２と６８２の大きさは、光の反射損失を低減するため、最小限に抑えることが重要である。放物面鏡６１４及び６８０の焦点は、おおよそ、試料６０６上の位置６０８にあり、したがって、位置６０８の近傍から放出された光は、各々、ほぼ平行なビーム光となって、図の右側へ向かう。

システムコントローラ６６２は、ケーブル６７０を介してカラム６０２に、ケーブル６６８を介してＸＹ偏向器６１０に、ケーブル６６６を介して放物面鏡６１４に、ケーブル６６４を介して検出器６６０及び６９０に、ケーブル６７６を介して遮蔽板６１６に、ケーブル６７８を介して試料６０６に、ケーブル６８８を介して検出器６８６に、そして、ケーブル６７４を介してレーザー６２２に電気的に接続される。検出器６９０及び６６０はケーブル６９９を介して相互に接続されることが示されているが、代替の構成として、システムコントローラ６６２に接続する別々のケーブルを有してもよい。システムコントローラ６６２は、モニタ（図示せず）上の画像表示を用いてＸＹ偏向器６１０によりビーム６０４の走査を調整し、並びに、試料表面にＦＭを特定するため、以下に説明する画像処理の計算を実行する。

荷電粒子ビームは、通常、真空中で伝搬する必要があり、したがって、真空室６３４は、図示のとおり、荷電粒子カラム６０２の出射口、ＸＹ偏向器６１０、放物面鏡６１４、遮蔽板６１６、試料５０６、放物面鏡６８０、及び検出器６８６を含む。一般的に、可能な限り多くの光学系機器を真空外に配置する方がより簡単であり、この場合、ビューポート６５６は、レーザー６２２からの光６２４（ビームスプリッタ６２６で反射されたもの）を真空室６３４に通過させることができ、一方で、位置６０８での緑色蛍光タンパク質ＦＭからの上方への放出光を真空室６３４から通過させることでき、ビームスプリッタ６２６を介して、次いで、カラーフィルタ６７２を介して検出器６６０に到達させる。ビューポート６５６は、位置６０８でＦＭから下方への放出を真空室６３４から通過させることができ、カラーフィルタ６９８を介して検出器６９０に到達させる。図３及び図５の第１の実施形態と同様に、カラーフィルタ６７２及び６９８は、各々、検出器６６０及び６９０に到達するレーザー励起光６２４の量を低減するのに役立つ。貫通孔６５４は、ケーブル６６６、６６８及び７７０を真空室６３４に通すことを可能にし、貫通孔６５２は、ケーブル６７６、６７８及び６８８を真空室６３４に通すことを可能にする。なお、この二つの放物面鏡を用いた構成では、吸収されずに試料６０６を通過したレーザー６２２の光は、放物面鏡６８０で反射されて検出６９０に向かう。すなわち、カラーフィルタ６９８は、図３及び図５の場合よりも高いレベルを有するレーザー照射に耐えるように構成されなければならない。

［走査領域に少数の蛍光マーカーがある場合の画像化］
図７は、１００個のＧＦＰを含む走査領域についてラスター走査した際の時間７０２の関数となる信号７０４（ピクセル毎に収集された光子の数）のグラフ７００を示す。全体の走査時間は、６０秒であり、５１２×５１２（２５６Ｋ）ピクセルに分散され、１ピクセル当たりのドウェルタイムは２２９μ秒である。曲線７０６は、照射領域内のすべての非破損ＧＦＰについてピクセル毎に収集された光子の数を表す。左端において、１００個すべてのＧＦＰは、レーザーの励起に応答して発光するものと仮定される。曲線７０６が右下に向かって下降するに従って、損傷ＧＦＰの数が０から１００へと徐々に増加し、６０秒のラスター終了時には最終的にすべてのＧＦＰが損傷する。ＧＦＰはランダムに配置されているので、０秒から６０秒までの全体的な下降をたどる間、曲線７０６は一部不規則性を有する。レーザー出力３ｍＷは試料において２８μｍ²の領域に分散され、この例では、ラスターはこれと同じ領域を持つと仮定され、したがって、走査の終了時には非損傷のＧＦＰは残らないものと仮定される。一般的には、照射領域はラスターより大きくてもよく、この場合、６０秒の走査終了時においていくつかのＧＦＰは損傷を受けないこともある。

図８は、図７のグラフ７００の開始部分の拡大図を示すグラフ８００であり、合計１００個のＧＦＰのうちの最初の８個の損傷を示す。レーザー照射領域内のＧＦＰの局在化において最も難しい点は、発光するＧＦＰが最大であるとき（損傷ＧＦＰが最小であるとき）の開始部分にある。これは、光を放出する非損傷ＧＦＰが最大数であることに伴って、すべてのＧＦＰからの収集された光の合計における統計的な揺らぎが最大（ピクセルのドゥエルタイムにおいて収集された光子数の二乗根として計算される）となるからである。グラフ７００及び８００は、表１に列挙された条件に基づいて作成された。曲線８０６は、照射領域において非損傷ＧＦＰから収集された光子数の平均であり、走査時間（最初の８秒しか示されていないが）に対する関数として示され、かかる時間中に８個のＧＦＰが荷電粒子ビーム（電子又はイオン）による衝撃を受けて破損している。これらの損傷イベントは、それぞれ、信号における垂直の降下（例えば、左上部の降下８１２）によって表される。曲線８０６の上側は、＋３シグマ曲線８０８（長破線）であり、予期される平均信号レベル８０６の上側の３標準偏差の信号の変動を表す（比較的生起する可能性は低い）。同様に、曲線８０６の下側は、−３シグマ曲線８０８（短破線）であり、予期される平均信号レベル８０６の下側の３標準偏差の信号の変動を表す（これもまた、比較的生起する可能性は低い）。なお、ここで重要な事項は、（損傷に起因する）１個のＧＦＰの損失を表わす段差８１２において、段差８１２の左側の曲線８１０は、段差８１２の右側の曲線８０８より十分に大きいことである。つまり、言い換えると、レーザー照射領域内で発光する（すなわち放出している）ＧＦＰが１００個しかない場合、すべての非損傷ＧＦＰから収集された光子数に固有の統計的な信号対雑音比が、１個のＧＦＰ損傷イベントを検出することを困難にする可能性は低い。

表１は図７及び図８におけるグラフ７００及び８００の条件である。

［走査領域に多数の蛍光マーカーがある場合の画像化］
図９は、１００００個のＧＦＰを含む走査領域についてラスター走査した際の時間９０２の関数となる信号９０４（ピクセル毎に収集された光子数）のグラフ９００を示す。全体の走査時間は、図７に示したとおり、６０秒であり、５１２×５１２（２５６Ｋ）ピクセルに分散され、１ピクセル当たりのドウェルタイムは２２９μ秒である。曲線９０６は、照射領域内のすべての非破損ＧＦＰについてピクセル毎に収集された光子数を表す。左端において、すべての１００００個のＧＦＰは、レーザーの励起に応答して発光するものと仮定される。曲線９０６が右下に向かって下降するに従って、損傷ＧＦＰの数が０から１００００へと徐々に増加し、６０秒のラスター終了時には最終的にすべてのＧＦＰが損傷する。ＧＦＰは観察領域においてランダムに配置されているが、このように１００００個もの多数が存在するので、曲線９０６はほぼ直線となる。レーザー出力３ｍＷは、試料において２８μｍ²の面積に分散され、この例では、ラスターはこれと同じ領域を持つと仮定され、したがって、走査の終了時に非損傷ＧＦＰは残らないと仮定される。一般的には、照射領域はラスターより大きくてもよく、この場合、６０秒の走査終了時においていくつかのＧＦＰは損傷を受けないままであることもある。

図１０は、図９のグラフ９００の開始部分の拡大図を示すグラフ１０００であり、合計１００００個のＧＦＰのうちの最初の８個の損傷を示す。図７のグラフ７００の場合と同様に、レーザー照射領域内のＧＦＰの局在化において最も難しい点は、発光するＧＦＰが最大数（及び損傷ＧＦＰが最小数）であるときの開始部分にある。グラフ９００及び１０００では、レーザーによる照射領域において、図７及び図８の場合よりＧＦＰが１００倍以上であり、したがって、収集光の合計（図３、５及び６に示す３つの代替の検出器の配置を参照）は、√１００＝１０倍以上の絶対の統計的揺らぎを伴って、１００倍以上となる。１個のＧＦＰによる放出光は照射されるＧＦＰの合計数には依存しないため、このことは（すべての非損傷ＧＦＰからの）収集光の合計の変動は、１個のＧＦＰが荷電粒子ビームによっていつ損傷を受けたとしても、統計的ゆらぎに関する比較において合計１００個のＧＦＰの場合（図７及び８）よりも１０倍以上小さくなることを意味する。これは、グラフ８００と１０００の間の定性的な違いから見ることができる。

グラフ９００及び１０００は、表１に列挙された条件に基づいて生成された。曲線１００６は、照射領域において非損傷ＧＦＰから収集された光子数の平均であり、走査時間（最初の０．０９秒しか示されていないが）に対する関数として示され、かかる時間中に８個のＧＦＰが荷電粒子ビーム（電子又はイオン）による衝撃を受けて損傷している。これらの損傷イベントは、それぞれ、信号における垂直な降下（例えば、左上部の降下１０２）によって表される。曲線１００６の上側は、＋３シグマ曲線１００８（長破線）であり、予期される平均信号レベル１００６の上側の３標準偏差の信号の変動を表す（比較的生起する可能性は低い）。同様に、曲線８０６の下側は、−３シグマ曲線１０１０（短破線）であり、予期される平均信号レベル１００６の下側の３標準偏差の信号の変動を表す（これもまた、比較的生起する可能性は低い）。なお、ここで重要な事項は、（損傷に起因する）１個のＧＦＰの損失を表わす段差１０１２において、段差１０１２の左側の曲線１０１０が、現時点で段差１０１２の右側の曲線１００８の下側にあることである。すなわち、この状態は、図８に示した重なりのないものとは定性的に異なるのである。±３シグマはかなり厳しい基準であるが、（例えば図３の検出器３６０からの）光信号における全体的な統計的雑音から、個々の損傷イベントを区別することは、このような場合さらに困難なものとなることは明らかである。

表２は、図９及び１０におけるグラフ９００及び１０００の条件である。

［ＦＭが少数の場合のＦＭ局在化を向上させる画像処理］
本節では、レーザー照射領域にＧＦＰが１００個ある場合（上記検討された図７及び８）の緑色蛍光タンパク質（ＧＦＰ）などの蛍光マーカー（ＦＭ）の局在化についてさらに詳しく検討する。図１１は、統計的雑音を含む原信号１１０６及び平滑化された信号１１０８を示すグラフ１１００であり、ラスター走査の時間１１０２の関数として示され、合計１００個のＧＦＰのうちの最初の３個の損傷を示すものである。曲線１１０６及び１１０８は、両方ともピクセル毎にすべてのＧＦＰから収集された光子数を表す縦軸１１０４に対してプロットされている。雑音は、全体的に確率的であり、換言すると、ピクセル毎の信号の揺らぎが、ピクセル時間（本例では２２９μ秒）に収集された光子数の平方根に等しい標準偏差を持つものであると仮定される。わずか１００個のＧＦＰにレーザーが照射される場合、図８で検討されたとおり、曲線８０８及び８１０は平均光子数の曲線８０６に接近し、このことは、ほとんどのピクセルにおいても、ＧＦＰ損傷イベントを区別しにくくするだけの十分な雑音がないことを意味する。さらに、ここに図示されたように、１１１０、１１１２及び１１１４でのＧＦＰ損傷イベントにおいて、わずかなプラスとマイナスの信号の雑音のゆらぎは問題とはならない。平滑化のステップ（その後、識別のステップが続く）を備える画像処理方法が図１１〜１３に示される。図１１において、曲線１１０８は原データの曲線１１０６を平滑化したものであり、３個の各ＧＦＰ損傷イベント１１１０、１１１２及び１１１４での下向きへの段差がはっきりと観察される。平滑化関数（カーネル）１２０６は、図１２に示される。

図１２は、点１２０８を中心とするガウスの平滑化関数１２０６、及び点１２１２を中心とする導関数１２１０を示すグラフ１２００であって、ピクセルの単位（本例ではドゥウェルタイム２２９μ秒）で、中心（すなわち、平滑化される特定のピクセルデータ）からの時間１２０２に対してプロットされたものであり、縦軸１２０４は二つの関数の値である（単位なし）。中心の最大値約０．１１を伴って、曲線１２０６における１３点の合計（面積）は１．０００となる。本実施形態では、ガウスの平滑化関数１２０６を示したが、これに限定されず、他の平滑化関数も本発明の範囲内であり、二項分布及びベル曲線も含まれる。原信号データが曲線１２０６に畳み込まれた又は組み合わされた後、図１１の曲線１１０８などの平滑化されたデータの結果は、その後、第２の「導関数」曲線１２１０（本例では曲線１２０６の微分）で自己相関される。本実施形態では、曲線１２１０はガウス曲線の導関数であるが、これに限定されず、他の「導関数」曲線も可能であって、二項分布又はベル曲線の導関数も含む。ガウス曲線１２０６の半値全幅（ＦＷＨＭ）は、以下の図１６で説明するとおり、最適化するためのパラメータの一つであり、本例では１０．０ピクセル分である。この工程を単純化する際は、初めに、曲線１２０６と曲線１２１０とを畳み込み、次いでこの結果である曲線を原画像データへ畳み込んでもよい。畳み込み及び自己相関の両方が相互に関連しているため、このようなことも可能である。ここでは、曲線１２０６及び１２１０は、工程を明確にするために別々に用いるものとする。

図１３は、原信号１１０６及び平滑化された信号１１０８（両方とも図１１から）、及び平滑化された導関数１３０６を示すグラフ１３００であり、ラスター走査の時間１３０２の関数として示され、合計１００個のＧＦＰのうちの最初の３個の損傷を示すものである。左側縦軸１３０４は、すべての非損傷ＧＦＰからの光子数／ピクセルの単位の曲線１１０６及び曲線１１０８に関するものであり、一方、右側縦軸１３０５は、同様にすべての非損傷ＧＦＰからの光子数／ピクセルの単位の導関数曲線１３０６に関するものである。導関数曲線１３０６は、３つの下方に向かう深いピークを有し、第１のピーク１３１０はＧＦＰ損傷イベント１１１０に対応し、第２のピーク１３１２はＧＦＰ損傷イベント１１１２に対応し、第３のピーク１３１４はＧＦＰ損傷イベント１１１４に対応している。なお、位置は時間軸に沿って非常によく合致している。このように、少数のＧＦＰがレーザーによって励起される場合、画像処理ルーチンによれば、図示されたとおり、原画像信号１１０６からＧＦＰ損傷イベントを容易に特定することができる。しきい値線１３２０は、ＧＦＰ損傷イベントとしてカウントされた導関数曲線１３０６においてピークの最大高さを定義する。本発明の画像処理方法には２つのパラメータ、つまり、平滑化曲線（図１２の曲線１２０６など）のＦＷＨＭ、及びしきい値１３２０が存在する。これら２つのパラメータの選択については下記の図１７を用いて説明する。

［FMが多数ある場合のＦＭ局在化を改善する画像処理］
本節では、上記の図９及び１０ではじめに説明したようなレーザー照射領域に１００倍もの多数のＧＦＰ（すなわち、ここでは１００００個）がある場合について、緑色蛍光タンパク質（ＧＦＰ）などの蛍光マーカー（ＦＭ）の局在化を詳細に検討する。図１４は、ＧＦＰ１０００個の場合であり、図１１のＧＦＰ１００個の場合に対応し、グラフ１４００は、ラスター走査の時間１４０２の関数である、統計的雑音を伴う原信号１４０６及び平滑化信号１４０８を示すものであり、合計１００００個の中からの最初の３個のＧＦＰの損傷を示すものである。両グラフは、ピクセル毎のＧＦＰのすべてから収集された光子数を表す縦軸１４０４に対してプロットされている。ＧＦＰが１００個の例と同様に、雑音は、全体的に確率的であり、換言すると、ピクセル毎の信号の揺らぎは、ピクセル時間（本例では２２９μ秒）に収集された光子数の平方根に等しい標準偏差を持つものであると仮定される。多数のＧＦＰにレーザーが照射される場合、図１０で検討されたとおり、曲線１００８及び１０１０は、平均光子数の曲線１００６からずっと離れてしまい、このことが、通常の雑音の背景から、個々のＧＦＰ損傷イベントを区別することを困難にすることがある。かかる理由によって、ここに説明する画像処理方法が開発されたのである。本方法は、例示的なものであり、適当な方式の十分な画像処理とともに、ここに図示されたものに含まれる。試料内の多数からであっても、ほとんどのＧＦＰの位置はかなり正確なものとなり、したがって、米国特許第７３１７５１５号においてはじめに記載された技術を、ＧＦＰなどの発現タグについて典型的であるようなさらに高密度の蛍光マーカーのために拡張できる。図１１〜１３に記載された同じ画像処理ルーチンがここでも使用された。図１４において、曲線１４０８は、原データの曲線１４０６を平滑化したものであり、１０．０ピクセルのＦＷＨＭを有する平滑化曲線１２０６を用いて計算された。原データの曲線１４０６では、３つのＧＦＰ損傷イベント１４１０、１４１２、１４１４のそれぞれの下降する段差の正確な位置を判別することは難しい。平滑化関数（カーネル）１２０６は、図１２に示されており、平滑化曲線１４０８を生成し、かかる曲線においてはＧＦＰ損傷イベントがより明白なものとなっている。

図１５は、ラスター走査時の時間１５０２の関数である、原信号１４０６及び平滑化信号１４０８（両方とも図１４から）、及び平滑化導関数１５０６、を示すグラフ１５００であり、合計１００００個のＧＦＰの中から最初の３個のＧＦＰの損傷を示すものである。左側縦軸１５０４は、光子数／ピクセルを単位とする曲線１４０６及び１４０８に関するものであり、一方、右側縦軸１５０５は、同じく光子数／ピクセルを単位とする導関数に関する。導関数曲線１５０６は、３つの下向きの深いピークを有し、第１のピーク１５１０はＧＦＰ損傷イベント１４１０に対応し、第２のピーク１５１２はＧＦＰ損傷イベント１４１２に対応し、第３のピーク１５１４はＧＦＰ損傷イベント１４１４に対応する。なお、これらは、図１１の曲線１１０６と比べて比較的大きな雑音を含むにもかかわらず、よく合致している。しきい値線１５２０は、ＧＦＰ損傷イベントとして計数される、導関数１５０６におけるピークの最大高さを定義する（図１３のしきい値１３２０と比較）。本発明の１００００個のＧＦＰの場合の画像処理方法においては、１００個のＧＦＰの場合と同様に、２つのパラメータ、つまり、平滑化曲線（図１２の曲線１２０６など）のＦＷＨＭ、及びしきい値１５２０が存在する。これら２つのパラメータの選択については図１７を用いて後述する。したがって、多数のＧＦＰがレーザーによって照射される場合であっても、本画像処理のルーチンによれば、図示のとおり原画像信号１４０６を処理することによってＧＦＰ損傷イベントを特定することができる。

［画像処理方法の最適化］
ここで、画像処理方法におけるＦＷＨＭ及びしきい値のパラメータの最適な選択について検討する。この分析は単に例示的な目的のためであるので模擬の雑音データを使用する。実際の実験データを用いる際、ＦＷＨＭ及びしきい値は、既知の数量の蛍光マーカーを含む試料を用い、ＦＭの検出数量が実際のＦＭの数量に一致するようにＦＷＨＭ及びしきい値を調整することによって実験的に決定することができる。図１６は、走査領域において多量の統計的雑音が存在し、多数のＧＦＰ（１００００個）が発光する場合に、最初の３個のＧＦＰを位置特定する画像処理方法の性能を示すヒストグラム１６００である。正確に３個のＧＦＰが存在する場合（図１１、１３〜１５のように）、ヒストグラム１６００は、ＦＷＨＭが１０．０ピクセル、しきい値が−３６２５の場合であり、時刻１６０８では９４％を示し、本ルーチンが正の誤検出（すなわち、余分なＧＦＰ）、負の誤検出（すなわち、捉え損なったＧＦＰ）がないように正確な数の変化を特定することを示した。３％を示す１６０６では、３個のＧＦＰのうちの１個が未検出であり、一方、他の３％を示す１６１０では、余分なＧＦＰを記録している（実際の３個＋余分な１個＝計４個）。

図１７は、画像処理方法の最適化結果のグラフ１７００であり、ＦＷＨＭ（ピクセル単位）１７０２の関数としてのＧＦＰ検出１７０６が示されている。左軸１７０４は、百分率単位で曲線１７０６に対応するものである。曲線１７０８は、軸１７０４を１０倍して用い、負の誤検出（すなわち捉え損なったＧＦＰ）の割合を表わす。曲線１７０６と１７０８との合計は常に１００％に等しい。曲線１７１０は、同様に軸１７０４を１０倍して用い、正の誤検出（すなわち、実際のＧＦＰには一致しない位置の余分なＧＦＰ）の割合を表わす。右軸１７２０は、導関数に関し最適化されたしきい値レベル（すなわち、図１３の線１３２０の値、図１５の線１５２０の値）の曲線１７１２に対応する。正及び負の誤検出の割合を減少させ、平均化させつつ、曲線１７０６のレベルを最大にする最適値を決定するためにＦＷＨＭとしきい値の両方を変化させて、広い範囲にわたってモデル計算を実行する。この結果を下記の表３に示す。しきい値曲線１７１２は、ＦＷＨＭが増加するにつれて上昇し続ける。これは、直感的に理解しやすい。つまり、平滑化の量が増加するにつれて（大きなＦＷＨＭ値）、導関数のピークは「平滑化」され、下方に伸びないことが明らかであり、実際のＧＦＰに対応するこれらのピークを捉え損なわないように、より小さいしきい値（つまり、グラフ上ではより高いもの）が必要とされるからである。

表３に記載の「時間軸での各検出ＧＦＰ数の割合（％）」の４列は、正しいピーク数が３個の場合において、２個、３個又は４個のピーク（多い又は少ない）が検出されたものを示す。２個のピークが検出された場合、２個の位置は実際のＧＦＰに対応するが、３番目のＧＦＰの位置のピークはしきい値の下まで伸びなかったので捉え損なったことが分かった。このように、ＦＷＨＭ＝６．０ピクセルの場合、２個のピークの検出率９．５０％は、（９．５０％）／３＝３．１７％の負の誤検出率（すなわち、ＧＦＰを捕らえそこなったもの）、及び（９．５０％）２／３＝６．３７％の正しい検出率に対応し、６．３７％は正しいＧＦＰ数（正しい位置）を検出する割合の７８．２５％に加えられる。同様に、４個のピークが検出されたとき、３個の位置は実際のＧＦＰに対応するが、平滑化雑音に起因する追加のピークがしきい値の下まで落ちて、余分なＧＦＰとして計数されていることが分かった。したがって、４個のピークを検出する確率１２．２５％は、（１２．２５％）／４＝３．０６％、の正の誤検出率、及び（１２．２５％）３／４＝９．１９％の正しいＧＦＰ検出率に対応し、９．１９％は検出率７８．２５％に追加される。したがって、ＧＦＰ検出率の合計は、表３に示すとおり、３．１７％＋７８．２５％＋９．１９％＝９６．８３％となる。

この分析から、ＦＷＨＭが１０ピクセルであり、しきい値が−３６２５の場合では、正の誤検出率（０．７５％）と負の誤検出率（１．００％）とが最小となる適切なバランスを提供し、一方で高いＧＦＰ局在化の検出確率（９９％）を与えるものと考えられる。一般的に、誤検出率を最小化する条件として、可能な限り小さいＦＷＨＭを使用することが好ましい。大きいＦＷＨＭ値では、ＧＦＰが走査線に沿って互いに接近している（例えば、数ピクセルしか離れていない）場合では、まれにデータの損失を引き起こす可能性があるためである。したがって、１０．０ピクセルのＦＷＨＭが、同じ誤検出率を与える１３．０ピクセルのＦＷＨＭの代わりに選択される。ランダム雑音を用いた数百回のシミュレーションでは、図１７及び表３に示される結果において高い整合性が示された。ＦＷＨＭの最適値は、画像の各種特性の関数となることが明らかである。この最適化プロセスは、原画像信号を取得し、試料中のＧＦＰの座標を含む最終的な画像を生成するため画像を処理するために使用される荷電粒子ビームシステムの全体に組み込まれることが望ましい。実際の生体試料では、ＧＦＰからの各種の光放出及び他の多くの要因を伴うが、ここで示すような理論的な誤検出率は、適切というよりほとんど確実である。

［ＧＦＰなどの発現タグを局在化する方法のフローチャート］
図１８は、本発明の生体試料内のＧＦＰなどの発現タグを局在化する方法のフローチャート１８００である。ブロック１８０２では、ＧＦＰのレポーター遺伝子は研究対象となる動物、植物又は細胞培養における特定の標的遺伝子（ＧｏＩ）の制御配列に連結されるので、ＧｏＩが細胞内で発現する度に（そのＧｏＩによってコードされるタンパク質を必要とする細胞のものと一致）、ＧＦＰ（存在する場合はペプチドリンカーも）が発現し、そのＧＦＰは標的タンパク質（ＰｏＩ）に連結されたままとなる。ブロック１８０４では、細胞はＧＦＰ遺伝子（ＰｏＩ＋リンカー＋ＧＦＰアミノ酸を生成し、ＰｏＩについて通常は二次、三次、そしておそらく四次構造を持つ）を発現させる。次いで、ブロック１８０６では、当業者によく知られた方法で、荷電粒子顕微鏡用の試料を準備する。ＧＦＰは一般的なタンパク質であるので、試料内でＧＦＰの発光特性を維持するための特別な取扱いは必要ない。ブロック１８０２から１８０６に並行して、ブロック１８０８では、試料へのレーザー照射（変異体又は野生型ＧＦＰの選択に基づいて必要な励起波長を備える）、並びに励起されたＧＦＰから放出される蛍光の収集効率の両方に関して、荷電粒子ビームシステムを設定する。図３、５及び６に示された本発明の３つの実施形態は、かかる機能を有するシステムの例示であるが、かかる機能を有する他のシステムであっても本発明の実施は可能である。

ブロック１８０６において試料が準備され、ブロック１８０８において荷電粒子システムが適切に設定されると、ブロック１８１０で試料を荷電粒子ビームシステムに挿入することができ、荷電粒子ビームの下方に配置することができる。図４Ａ及び図４Ｂに示される光学検出器によって可能な効率的なデュアル画像化機能は、このプロセスを試料に対して小さい損傷のレベルで実行することを可能する（画像化の容量を最小限にすることができるため）。そして、ブロック１８１２では、試料内のＧＦＰを最適に励起するよう調整されたレーザービームで試料を照射する。ブロック１８１４では、励起されたＧＦＰからの光信号を収集し、フレームグラバなどの画像記憶装置に格納しながら、荷電粒子ビーム（電子又はイオンのいずれかを含む）のラスタリングを速やかに開始するのが好ましい。ブロック１８１８は、操作者が、上述した平滑化のためのＦＷＨＭ及びしきい値などのパラメータを選択することを表わす。このステップは任意選択であり、省略した場合、ブロック１８１６は、あらかじめ定められた画像処理のパラメータを使用する。ブロック１８１６では、試料からの雑音を含んだ原信号データが、試料中のＧＦＰの位置、すなわち、ＧｏＩによってコードされるＰｏＩの位置を決定するために処理される。

［量子ドットなどの機能化タグを局在化するための方法のフローチャート］
図１９は、試料内の量子ドットなどの機能化タグを局在化するための本発明の方法のフローチャート１９００である。ブロック１９０２では、機能化量子ドット、又は他の型の機能化蛍光マーカーを付着する試料、又は研究者が対象とする細胞内構成要素に染料を付着する試料を準備する。ブロック１９０４では、試料を量子ドット（Ｑドット）などの機能化蛍光マーカー（ＦＭ）の溶液にさらす。次いで、ブロック１９０６では、当業者によく知られた方法で、荷電粒子顕微鏡用の試料を準備する。ブロック１９０２ないしブロック１９０６に並行して、ブロック１９０８では、試料へのレーザー照射（Ｑドットの選択に基づいて必要な励起波長を備える）、並びに励起されたＱドットから放出される蛍光の収集効率の両方に関し、荷電粒子ビームシステムを設定する。図３、５及び６に示された本発明の３つの実施形態は、かかる機能を有するシステムの例示であるが、かかる機能を有する他のシステムであっても本発明の実施は可能である。

ブロック１９０６において試料が準備され、ブロック１９０８において荷電粒子システムが適切に設定されると、ブロック１９１０で試料を荷電粒子ビームシステムに挿入することができ、荷電粒子ビームの下方に配置することができる。図４Ａ及び図４Ｂに示される光検出器によって可能な効率的なデュアル画像化機能は、このプロセスを試料に対して小さい損傷のレベルで実行できる可能性がある（画像化の容量を最小限にすることができるため）。次に、ブロック１９１２では、試料内のＱドットを最適に励起するよう調整されたレーザービームで試料を照射する。ブロック１９１４では、励起されたＱドットからの光信号が収集され、フレームグラバなどの画像記憶装置に格納されると同時に、荷電粒子ビーム（電子又はイオンのいずれかを含む）のラスタリングがほとんど直ぐに開始されるのが好ましい。ブロック１９１８は、操作者が、上述した平滑化のためのＦＷＨＭ及びしきい値などのパラメータを選択することを表わす。このステップは任意選択であり、省略した場合、ブロック１９１６は、あらかじめ定められた画像処理のパラメータを使用する。ブロック１９１６では、試料からの雑音を含んだ原信号データが、試料中のＱドットの位置、すなわち、機能化Ｑドットと一致するＰｏＩの位置を決定するために処理される。

［二次電子とＦＭ損傷イベントとを組み合わせた画像化］
図２０は、二次電子と蛍光マーカーとを組み合わせた画像２００２の概略図２０００である。ビーム偏向器によって荷電粒子ビームが試料表面を横切るようなパターンで走査する間、二次電子（ＳＥ）画像と、ＧＦＰなどの発現蛍光マーカー（ＦＭ）又はＱドットのような機能化蛍光マーカーを含んだ試料から放出された蛍光によって生成させる光学画像との二つの画像を同時に取得することができる。荷電粒子ビームは、一般的に、ＦＭに蛍光を生じさせる光又は他の照射ビームの領域より小さい領域を照射するものであるが、蛍光領域は、実質的に荷電粒子ビームの照射領域より大きくないことが好ましく、これにより、各ＦＭ損傷イベントによる収集光の減少がすべての非損傷ＦＭから全体の光を背景にして相対的に最大化できる。二次電子像は画素で構成され、それぞれの明るさは、荷電粒子ビームが試料上の対応する点にあるときのＳＥ検出器からの信号に対応し、そのＳＥの信号は典型的には検出されたＳＥの数量に関係する。このような画像を「荷電粒子ビーム像」といい、これらは、電子又はイオンの一次ビームにより、検出される二次電子、散乱電子、二次イオン又は他の種類の信号を用いて生成することができる。図２０において、ＳＥ画像は各種の線２００８、円２００６、楕円及び影の部分２００４に対応し、これらは、画像化された細胞の構成要素、例えば、核、細胞膜、滑らかな及び荒い小胞体、ミトコンドリア、小胞などに対応する。図中に小さい黒丸で示され、ＳＥ画像上に重ねられたものは、多数のＦＭの位置を表わす標示である。荷電粒子ビームが試料全体に渡って走査されるとき、その荷電粒子ビームの位置は、ＦＭの蛍光の減少又は消失が検出された瞬間に記録される。図２１における画像処理方法によってその消失が決定され、これらのデータは図２１のブロック２１２２で生成されるＦＭ位置ファイルに格納される。図４Ａ及び図４Ｂに図示された光学検出器でＳＥと光検出の組み合わせにより可能な高い収集効率の利点がここに明らかとなっている。すなわち、ＳＥの高い収集効率により、各種細胞内構造の画質が向上するとともに、試料からの光の効率的な収集により、試料におけるほとんどのＦＭが正確に位置特定され、その位置が格納されてＳＥ画像上に重ねられるのである。ＳＥと光データは両方とも同じラスター走査から生じるので、ＳＥ画像上でＦＭ位置の重ね合わせは非常に正確なものとすることができる。また、試料内のＦＭ位置は、図５の検出器５８６又は図６の検出器６８６からの信号を用いて生成される一般のＴＥＭ画像（弾性、非弾性、エネルギーフィルタの非弾性など）上に重ねられてもよい。

［画像処理方法の実施例］
図２１は、試料内に蛍光マーカー（ＦＭ）を局在化するための画像処理方法のフローチャート２１００である。この方法は、荷電粒子ビームによる試料のラスター走査が全部完了することを仮定しており、この走査の間、ラスターを構成する画素の集合の原画像データのセットが取得され、第１の画像メモリに格納される。各ピクセルデータは、試料中での平均ドゥエルタイムにかけて、すべての非損傷の蛍光マーカー（ＦＭ）（ＧＦＰ又はＱドットなど）から放出された蛍光の強度に比例する数である。画像処理プロセッサは、図３、５及び６の各々の３６２、５６２及び６６２などのシステムコントローラにおいて構成されてもよい。また、画像処理プロセッサは、コンピュータ（図示せず）とは別に構成されてもよい。ブロック２１０２では、画像処理プロセッサは、原画像データ（図１１の曲線１１０６、又は図１４の曲線１４０６など）を、ブロック２１０４からの所定の平滑化関数（図１２の曲線１２０６など）を使って畳み込み、第２の画像メモリに格納される平滑化画像データを生成する。ブロック２１０６では、ブロック２１０２から平滑化画像データ（図１１の曲線１１０８又は図１４の曲線１４０８など）が、ブロック２１０８からの所定の導関数（図１２の曲線１２１０など）と自己相関され、第３の画像メモリに格納される導関数データを生成する。

次に、ブロック２１１０では、画像処理プロセッサは、導関数データのすべての局所的最小値について走査し、すべての局所的最小値の値と位置の両方が導関数最小値位置ファイル（Ｄｅｒｉｖａｔｉｖｅ Ｍｉｎｉｍｕｍ Ｌｏｃａｔｉｏｎ Ｆｉｌｅ：ＤＭＬＦ）に格納される。局所的最小値の例としては、図１３のピーク１３１０、１３１２及び１３１４、又は図１５のピーク１５１０、１５１２及び１５１４が含まれる。次いで、ＤＭＬＦの各局所的最小値に対して、判定ブロック２１１２並びにブロック２１１４、２１２２及び２１２４を備えるループが実行される。各局所的最小値は、ブロック２１１４からの所定のしきい値レベル（図１３のレベル１３２０又は図１５のレベル１５２０など）と比較される。一般的には、多数の局所的最小値が、試料中のＦＭの実の位置ではなく、データ中のランダム雑音の変動に対応するものとなることがあるが、ブロック２１１４で適切な最大しきい値レベルを選択すれば、実のＦＭに対応しない局所的最小値のほとんどは、ブロック２１１２の決定によって除外できる可能性がある（そのため正の誤検出は減少する）。また、実のＦＭに対応する局所的最小値のほとんどは、最大しきい値レベルを下回ることが好ましい（そのため負の誤検出は減少する）。本画像処理方法によれば、実のＦＭに対応していない多数の局所的最小値を除きつつ、実のＦＭの多数を局在化することに成功したが、これは、実のＦＭが損傷したときに、試料からの光のランダム雑音が同じ平均値のままではなく、上下に変動しながら、試料からの光が永続的に減少するという事実に依存する。したがって、データを平滑化して、導関数を使用することによって、雑音による上下変動は平滑化されるが、試料からの光における降下の段差は依然として検出可能なものとなる。判定ブロック２１１２からのパス２１２０は、最大しきい値レベルを下回ったすべての局所的最小値に対応し、これらの最小値の位置はブロック２１１２で保存され、次いで、ループはブロック２１２４に進む。最大しきい値レベルを超える値を有するすべての局所的最小値は、パス２１１８からブロック２１２４に進み、そして、それらのデータは、定義によれば、実際のＦＭ位置（これはしきい値の目的である）に対応していないと仮定しているので、それら局所的最小値はＦＭ位置ファイル（ＦＭＬＦ）に格納されない。ブロック２１２４では、すべての局所的最小値が判定ブロック２１１２で分析されるまで、そのループは、次のＤＭＬＦの局所的最小値に対して繰り返される。本画像処理方法のまとめとして、ＦＭＬＦは、試料内のＦＭの大部分の位置を含み、余分（ＦＭでない）な位置は最小数しか含まないことが好ましく、したがって、負の誤検出（捉え損なったＦＭ）、及び正の誤検出（余分なＦＭ）の両方が、図１６及び１７で説明したように、最小化される。

上記の説明では、用語「緑色蛍光タンパク質」又は「ＧＦＰ」は、いずれの種類の発現性の生物学的な蛍光マーカー、又は標識、その他を表わすように使用しており、これらのすべてが本発明の範囲内である。用語「Ｑドット」は、当技術分野で一般的に使用される、いずれの種類の機能化された蛍光マーカーをも表わすように使用しており、これらのすべてが本発明の範囲内である。本発明を実施するための３つの実施形態にかかる荷電粒子システムが示されているが、他のシステムの構成についても本発明の範囲内のものとして可能であることが理解される。用語「二次電子」については、低エネルギーの二次電子だけでなく、オージェ電子及び後方散乱電子を含んでもよい。

表３は、画像処理ルーチンの最適化の結果である。画像処理ルーチンの性能が統計的に十分となるように、ＦＷＨＭとしきい値の組み毎に、（正確に最初の３つのＧＦＰ損傷イベント毎に）３００回のシミュレーションランが実行された。

コンピュータプログラムには、ここに記載された関数を演算するための入力データを適用することができ、出力データを生成するように入力データを変換することができる。出力情報は、ディスプレイモニターなどの１つ又は複数の出力デバイスに適用されてもよい。本発明の好ましい実施形態では、変換されたデータは、物理的な及び有形のオブジェクトを表すものであり、これらはディスプレイ上で物理的な及び有形のオブジェクトの特定の視覚的描写を生成する。

また、本発明の好ましい実施形態では、ビームの粒子を用いて試料を画像化するために、ＦＩＢ又はＳＥＭなどの粒子ビーム装置を使用してもよい。試料の画像化に使用されるこのような粒子は、試料と固有の相互作用を生じるものであり、ある程度の物理的な変化を引き起こす。さらに、本明細書においては、例えば、「計算する」「決定する」「測定する」「生成する」「検出する」「形成する」などの用語を利用して考察した。これらは、コンピュータシステム、又は同様の電子機器の動作、プロセスにも及ぶものである。これらコンピュータシステム又は同様の電子機器は、コンピュータシステム内で物理量として示されるデータを、コンピュータシステム又は他の情報ストレージ、送信デバイス又はディスプレイデバイス内で物理量として示される他の類似のデータに変換する。

本発明及びその利点について詳細に説明したが、ここに記載された実施形態に対しては、添付された特許請求の範囲により定められる本発明の趣旨及び範囲から逸脱することなく、様々な変更、置換及び修正が可能であると理解されるべきである。本発明は、異なる実施形態において一緒に又は個別に用いられるいくつかの新規で特許性のある態様を含むものである。さらに、本出願の範囲については、本明細書に記載されたプロセス、機械、製造物、組成物、手段、方法及びステップの特定の実施形態に限定されるものではない。当業者であれば、本発明、プロセス、機械、製造物、組成物、手段、方法又はステップの開示によって、既存の技術、又は本明細書に記載された実施形態に対応し、実質的に同じ機能を果たしたり、実質的に同じ効果を奏したりする将来技術についても、本発明に従って利用可能であると容易に理解することができる。したがって、添付された特許請求の範囲は、上記のようなプロセス、機械、製造物、組成物、手段、方法及びステップをその範囲に含むものである。

１０２ 標的タンパク質
１０４ 緑色蛍光タンパク質
１１０ リンカー
３０２ 荷電粒子カラム
３０４ 荷電粒子ビーム
３０６ 試料
３１０ 偏向器
３１２ 孔
３１４ ミラー
３１４ 放物面鏡
３２０ 二次電子検出器
３２２ レーザー
３６０ 光検出器

Claims (30)

1. 荷電粒子システムであって、
   蛍光マーカーを含む試料の上に荷電粒子ビームを指向させる荷電粒子光学カラムと、
   前記荷電粒子ビームの衝撃により前記試料から放出される二次電子を収集する二次電子検出器と、
   前記試料中の前記蛍光マーカーを励起する光源と、
   前記試料中の前記蛍光マーカーによって放出される蛍光を検出する光検出器と、
   導電性ミラーと、を備え、
   前記導電性ミラーが、
   前記光源からの光を前記荷電粒子ビームの衝撃点を含む前記試料の領域へ指向させ、
   前記蛍光マーカーから放出された前記蛍光を前記光検出器に向けて反射させ、
   前記試料からの前記二次電子を前記二次電子検出器へ偏向させる電界を与えるように構成されることを特徴とする荷電粒子システム。
2. 前記ミラーは、前記試料の領域の上に光を集束し、前記試料の領域からの光を収集するための放物面鏡であって、焦点が前記荷電粒子ビームの前記衝突点の近傍にあることを特徴とすることを特徴とする請求項１に記載のシステム。
3. さらに前記ミラーと前記光検出器との間に配置されるビームスプリッタを備え、
   前記ビームスプリッタが、
   前記ミラーによって反射された前記蛍光を光検出器へ伝搬させ、
   前記光源から前記ミラーに向けて光を反射させるように構成されることを特徴とする請求項１に記載のシステム。
4. さらに前記ビームスプリッタと前記光検出器との間に配置されるカラーフィルタを備え、
   前記カラーフィルタの透過率は、前記光源からの光の透過をほとんど遮断するが、前記マーマーカーによって放出される蛍光を通過させるように調整されることを特徴とする請求項３に記載のシステム。
5. 前記試料から放出される光及び二次電子の両方についての収集立体角がπ／２ステラジアンより大きいことを特徴とする請求項１に記載のシステム。
6. 前記蛍光マーカーは、標的遺伝子に連結された遺伝子によって発現される蛍光マーカー、又は特定の細胞内構成要素に選択的に付けられる無機蛍光マーカーを含むことを特徴とする請求項１に記載のシステム。
7. 前記光検出器は、複数の検出器を備え、前記複数の検出器における各検出器が特定の種類の蛍光マーカーからの蛍光を収集するように構成されることを特徴とする請求項１に記載のシステム。
8. 前記光検出器及び前記ミラーが前記試料の上方に配置され、
   さらに、前記試料の下方に配置される透過電子検出器と、
   前記試料中の前記マーカーから放出される蛍光のための第２光検出器と、
   前記試料と前記透過電子検出器との間に配置される第２ミラーとを備え、
   前記第２ミラーは、前記試料に対する前記荷電粒子ビームの衝突点の近傍に位置する焦点を有し、前記マーカーから放出された蛍光を前記第２光検出器に向けて反射させるように構成されることを特徴とする請求項１に記載のシステム。
9. 荷電粒子システムであって、
   荷電粒子を生成する荷電粒子ビーム源と、
   蛍光マーカーを含む試料の上に前記荷電粒子ビーム源からの荷電粒子ビームを集束させる荷電粒子ビーム光学カラムと、
   試料位置で試料を保持し、前記試料位置を介して試料面が前記荷電粒子ビーム源を含む前記試料面の上の領域と前記試料面の下の領域とに空間を分割する試料ステージと、
   前記試料に対する前記荷電粒子ビームの衝撃により前記試料から放出される二次電子を検出し、前記試料面の上に配置される二次電子検出器と、
   前記試料中の蛍光マーカーを照射する光源であって、その光源からの光が初めに前記試料の上方から前記試料を照射する光源と、
   前記試料中の前記マーカーから放出される蛍光を検出する光検出器と、
   前記試料面の上に配置されるミラーと、備え、
   前記ミラーは、
   前記蛍光マーカーに蛍光を生じさせる前記光源からの光を前記試料表面の上に指向させ、前記蛍光マーカーから放出された光を、その光が前記試料をまったく通過しないように、前記光検出器の上に偏向させるように構成されることを特徴とする荷電粒子システム。
10. 前記ミラーは、導電性の放物面鏡を備えることを特徴とする請求項９に記載の荷電粒子ビームシステム。
11. 前記ミラーは、光の焦点を有し、前記焦点が前記試料に対する前記荷電粒子ビームの衝突点の近傍に位置することを特徴とする請求項１０に記載の荷電粒子ビームシステム。
12. 前記ミラーは、
    前記光源から前記試料の上へと光を集束させ、
    前記蛍光マーカーから放出された蛍光を光検出器へ向けて反射させるように構成されることを特徴とする請求項１１に記載の荷電粒子ビームシステム。
13. さらに、荷電粒子ビームが通過する孔を有する電極を備え、
    前記電極は、その電極と前記試料から前記二次電子検出器へ前記二次電子を偏向可能に設定された導電性の放物面鏡との間に電界を形成するように構成されることを特徴とする請求項１０に記載の荷電粒子ビームシステム。
14. 前記電極はおおよそ前記試料の電位にバイアスされることを特徴とする請求項１３に記載の荷電粒子ビームシステム。
15. 荷電粒子ビームシステムにおいて試料からの荷電粒子及び光を収集する装置であって、
    荷電粒子ビームが通過する間隙を有するミラーであって、前記試料から光検出器へ光を反射させるように構成されたミラーと、
    前記試料からの光を検出する荷電粒子検出器と、
    前記ミラーと前記試料との間に電界を形成するように電気的にバイアスされ、その電界が前記試料からの荷電粒子を前記ミラーに衝突しないように妨げ、前記試料からの前記荷電粒子を前記荷電粒子検出器に向けて偏向させる導電体と、を備えることを特徴とする装置。
16. 前記荷電粒子検出器は、前記荷電粒子ビームが前記ミラーから出射される位置より下方の平面に配置されることを特徴とする請求項１５に記載の装置。
17. 前記ミラーの導電部が前記ミラーと前記試料との間に前記電界を形成する前記導電体を備えることを特徴とする請求項１５に記載の装置。
18. 前記導電部が金属反射層を備えることを特徴とする請求項１６に記載の装置。
19. 試料中の蛍光マーカーを局在化する方法であって、
    蛍光マーカーを励起させるように前記試料に光を照射し、その光を導電性の第１ミラーによって前記試料の上に集束するよう前記試料を照射するステップと、
    荷電粒子ビームをパターンで試料表面上に指向させ、前記荷電粒子を試料において前記光の照射領域より小さい領域に衝突させるステップと、
    前記蛍光マーカーから放出され、前記荷電粒子ビームを通過させる開口を有する前記第１ミラーによって検出器に向けて反射された前記試料からの光を検出するステップと、
    前記荷電粒子ビームを前記試料の表面を横切るパターンで走査し、前記荷電粒子ビームが衝突したとき前記蛍光マーカーの少なくとも一部は蛍光を減少させるステップと、
    前記試料上への前記荷電粒子ビームの衝突によって生じた前記試料からの荷電粒子を前記第１ミラーから離して前記検出器に向けて偏向させるステップと、
    前記荷電粒子ビームのパターン中の既知の位置から、前記試料中の前記蛍光マーカーからの光放出の合計において減少が検知された場合、前記蛍光マーカーの位置を決定するステップと、を備えることを特徴とする方法。
20. さらに、前記荷電粒子ビームの画像上に重ね合わされた蛍光マーカーの位置を含む、前記荷電粒子ビームに基づく画像を表示するステップを備えることを特徴とする請求項１９に記載の方法。
21. 前記蛍光マーカーは、遺伝的な発現マーカーを備えることを特徴とする請求項１９に記載の方法。
22. 前記遺伝的な発現マーカーが緑色蛍光タンパク質を備えることを特徴とする請求項２１に記載の方法。
23. 前記蛍光マーカーは、特定の細胞内構成要素に選択的に付着することが可能な機能化された無機蛍光マーカーを備えることを特徴とする請求項１９に記載の方法。
24. 前記荷電粒子ビームが、電子ビーム又は集束イオンビームを備えることを特徴とする請求項１９に記載の方法。
25. 前記蛍光マーカーから放出される光を検出する際、前記試料内の複数の種類の蛍光マーカーからの光を別々に検出することを特徴とする請求項１９に記載の方法。
26. 前記荷電粒子検出器は、前記試料の前記ミラーと同じ側にあって、前記ミラーの下方に配置されることを特徴とする請求項１９に記載の方法。
27. 前記試料からの荷電粒子を前記第１ミラーから離して前記検出器に向けて偏向させる際は、前記ミラー上に電気的なバイアスを提供することを含むことを特徴とする請求項１９に記載の方法。
28. 前記試料から放出された光が、前記試料に関して前記第１ミラーとは反対側にある第２ミラーによって収集されることを特徴とする請求項１９に記載の方法。
29. 格納された画像データの処理において、
    前記画像データを平滑化関数と組み合わせて平滑化画像データを生成するステップと、
    前記平滑化画像データを導関数と組み合わせて導関数画像データを生成するステップと、
    前記導関数画像データの局所的な最小の位置を特定するステップと、
    前記最小の値を所定の最大しきい値と比較するステップと、
    前記局所的な最小値が前記しきい値より低い場合、前記荷電粒子ビームの位置に対応する画像の位置を示す標示を前記画像上に表示するステップと、を備えることを特徴とする請求項２０に記載の方法。
30. 格納された画像データに対する画像処理方法であって、
    試料の領域を横切るパターンで荷電粒子ビームを指向させ、
    前記荷電粒子ビームの衝突により前記試料から放出された荷電粒子を検出して荷電粒子画像信号を生成し、
    前記荷電粒子画像信号を用いて荷電粒子ビーム画像を生成し、
    前記試料の領域から放出された光を検出し、画像曲線を形成する時間にかけて前記検出した光信号を増幅させ、
    前記画像曲線を平滑化関数に畳みこんで平滑化画像データを生成し、
    前記平滑化画像データを導関数と組み合わせて導関数画像データを生成し、
    前記導関数画像データの局所的な最小に対応する値、及び前記導関数画像データの局所的な最小に対応する前記荷電粒子ビームの位置を決定し、
    前記最小の値を所定の最大しきい値と比較し、
    個々の局所的な最小の値が前記しきい値より低い場合、前記荷電粒子ビーム画像上に標示を表示することを備える方法。