JP2013506163A6 - 顕微鏡画像を形成するための方法および顕微鏡 - Google Patents
顕微鏡画像を形成するための方法および顕微鏡 Download PDFInfo
- Publication number
- JP2013506163A6 JP2013506163A6 JP2012531254A JP2012531254A JP2013506163A6 JP 2013506163 A6 JP2013506163 A6 JP 2013506163A6 JP 2012531254 A JP2012531254 A JP 2012531254A JP 2012531254 A JP2012531254 A JP 2012531254A JP 2013506163 A6 JP2013506163 A6 JP 2013506163A6
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- sample
- image
- microscope
- tirf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001000 micrograph Methods 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims description 111
- 230000003287 optical Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000386 microscopy Methods 0.000 claims description 20
- 230000000051 modifying Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000006059 cover glass Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 8
- 230000005284 excitation Effects 0.000 description 7
- 230000003595 spectral Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 4
- 230000000875 corresponding Effects 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001808 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001419 dependent Effects 0.000 description 2
- 238000005755 formation reaction Methods 0.000 description 2
- 230000000737 periodic Effects 0.000 description 2
- 210000001772 Blood Platelets Anatomy 0.000 description 1
- 210000003666 Nerve Fibers, Myelinated Anatomy 0.000 description 1
- 102100002498 TICAM1 Human genes 0.000 description 1
- 101710029702 TICAM1 Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated Effects 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Abstract
本発明は、a)それぞれ顕微鏡対物レンズを介してTIRF法により試料が照明され、b)構造の種々の移動位置で試料が構造化照明され、少なくとも1つの試料領域の画像をそれぞれ形成するために、a)及びb)による方法の試料光が検出され、a)及びb)にしたがって形成された試料画像が互いに計算され、好ましくは乗算され、新たな試料画像を形成するために結果が格納される、顕微鏡画像を形成するための方法および顕微鏡に関する。
Description
本発明は、顕微鏡画像を形成するための方法および顕微鏡に関する。
いわゆる全反射蛍光(英語:「total internal reflection fluorescence」、TIRF)を使用する顕微鏡は、蛍光顕微鏡の特別の形式である。このような顕微鏡はたとえば特許文献1(そのたとえば図9と10C)に開示されている。図1は、関連性を説明する。試料Pの蛍光体F0がもっぱらエバネッセント照明場Eにより、カバーガラスDと試料との境界面の後方の薄い層内で蛍光F1に励起される。試料内のエバネッセント照明場Eは、励起光線TがカバーガラスD内を全反射になる角度θcでカバーガラス・試料境界面へ案内されることによって形成される。薄い層だけが蛍光励起されることにより、とくに高い軸方向の分解能が達成できる。TIRF顕微鏡の光軸方向の分解能は、試料へのエバネッセント場の浸入深度dから得られる。入射角θに依存して次式から軸方向分解能が得られる。
照明は典型的には図2に概略的に示すように顕微鏡対物レンズOを通して行われ、その縁部領域では照明光が、対物レンズOを去った後対物レンズOの光軸と、全反射角θc以上の角度で交差する。励起光Tに対して必要な大きな入射角を可能にするためには、顕微鏡対物レンズOが大きな開口数を有していなければならない。対応する蛍光は、同じ対物レンズOにより集光され、CCDカメラ(図示せず)に結像される。
同様に特許文献1から、顕微鏡解像度を高めるために光切換可能な蛍光色素を使用することが公知である(英語:「Photo−activated Localization Microscopy」;PALM、PAL−Mとも)。活性化波長においては非常に強度の弱い光によりランダムに分布した極めて少数の蛍光体が励起可能な状態に変換され(活性化され)、引き続き公知のように励起波長の光によって蛍光が励起される。残りの非活性化蛍光体は、励起波長によって蛍光が励起されない。ランダムに分布しているので、活性化され励起された蛍光体は、通例、蛍光事象から発生して回折限界で広がった点光源結像の強度分布が互いに重ならないように空間的に離れて存在する。このことはとりわけ、回折広がりのため強度分布が必然的に複数の画素(英語:「picture elements」;ピクセル)にわたって伸長する2次元画像への投影に当てはまる。PAL顕微鏡では、通例は空間的に重ならないそれぞれ少数の蛍光事象を備える多数の個別画像が記録される。ここで蛍光体の小さな群の活性化は、最後に活性化された蛍光体が脱色して初めて繰り返される。個々の蛍光事象の起源が、回折広がりした強度分布に基づき、個別画像においてサブピクセル分解能での補償計算により位置特定され、高分解能の結果画像に登録される。
光学的画像形成システムの側方分解能を、周期的パターンの照明によって対象物を走査することにより改善する方法を開示する。
本発明の枠内での高分解能の顕微鏡法が特許文献2に述べられており、ここでは周期的構造を備える対象物が走査される。
本発明の枠内での高分解能の顕微鏡法が特許文献2に述べられており、ここでは周期的構造を備える対象物が走査される。
特許文献3では、構造化された照明によって非線形のプロセスが利用される。非線形性として蛍光の飽和が用いられる。照明光線モジュレータによって形成される構造化された光により、対象空間スペクトルが光学的システムの伝達関数に対して偏移される。具体的にスペクトルの偏移は、対象物空間周波数V0が空間周波数V0−Vmにおいて伝達されることを意味し、ここでVmは構造化された照明の周波数である。このシステムにより伝達可能な最大空間周波数が規定されれば、これは、偏移周波数Vmだけ伝達関数の最大周波数より上にある対象物の空間周波数の転移を可能にする。このアプローチは、画像形成のための復元アルゴリズムと、1つの画像に対して複数の記録の使用を必要とする。したがって高分解能顕微鏡法の対応する説明に関連して同様に完全に援用する特許文献3は、使用の構造化された広視野照明を使用し、たとえば振幅/位相グリッドによりストライプ状の変調が刻まれる。試料内の蛍光も同様に広視野で検知される。変調が少なくとも3つの異なる回転状態、たとえば0°、120°、および240°にもたらされ、各回転位置で変調が少なくとも3つの異なる位置に移動される。回転位置の各移動(すなわち全部で少なくとも9つの画像位置)において試料が広視野に検知される。さらにグリッドは、使用される光学的構成で伝達できる限界周波数にできるだけ近い周波数を有する。次に、フーリエ変換を使用して前記のスペクトル偏移が行われ、とくに0次と±1次の回折次数が画像内で評価される。この顕微鏡法もSIM法と称される。
SIM法の改善形態は、変調のストライプ方向に対して垂直の線形照明により達成することができる。この場合、線形照明を行い、ラインに沿ってストライプ構造が再び見出される。線形照明は変調によって構造化される。線形照明により、共焦点のスリット検知とさらなる分解能向上が可能となる。この方法もSLIMと省略される。
分解能のさらなる向上は、照明光線変調が、構造化された照明の明るい領域では飽和に達するほど強烈な照明光線によって試料の蛍光が実施される場合に得られる。この場合、蛍光に関しての試料上での変調はもはや正弦波分布せず、飽和作用のため光学的限界周波数のさらに高次の高調波を有する。この方法は、飽和パターン励起顕微鏡法(SPEE)とも省略される。
本発明は以下に、独立請求項による、顕微鏡の回折限界より低い顕微鏡分解能を達成する方法および装置を記述する。好ましい改善形態は従属請求項の対象である。
図3には、古典的な顕微鏡法、すなわち分解能が回折により制限される顕微鏡1が図示されており、この古典的な顕微鏡法は高分解能の顕微鏡法、すなわちその分解能が回折限界を越えて上昇された顕微鏡法と同時に実施することができる。顕微鏡1はモジュール型に構成されており、本発明をより良く説明するために大規模な拡張バージョンで説明する。しかし少数のモジュールによる縮小した構造も可能である。モジュール型構造も必然ではなく、一体型または非モジュール型構造も同じように可能である。図1の例の顕微鏡1は従来のレーザ走査顕微鏡をベースに組み立てられており、試料2を検知する。
対物レンズ3を有し、すべての顕微鏡法について光線がこの対物レンズ3を通る。対物レンズ3はビームスプリッタ4を介して鏡筒レンズ5とともに試料をCCD検出器6上に結像する。このCCD検出器6は、一般的に可能な平面検出器に対する一例である。その点で顕微鏡1は従来の光顕微鏡モジュール7を有し、試料2から対物レンズ3と鏡筒レンズ5を通ってCCD検出器6に至る光線路は従来の広視野検出光線路8に相当する。ビームスプリッタ4は、図1の双方向矢印により示されるように、異なるダイクロイック特性を有するビームスプリッタと米国特許出願公開第2008/0088920号による無色収差ビームスプリッタとを切り換えることができるように交換可能である。
対物レンズ3への光線路にはさらにレーザ走査モジュール9が結合されており、そのLSM照明光線路および検出光線路は、同様にビームスプリッタ機能を有する切換ミラー11を介して対物レンズ3への光線路に入力結合される。したがって切換ミラー11からビームスプリッタ4を通って対物レンズ3への光線路は、照明光線路および検出光線路が1つにされる光線路である。このことはレーザ走査顕微鏡9に対しても、すなわち広視野検出光線路8に対しても当てはまる。なぜなら後でさらに説明するように、切換ミラー11で照明光線も入力結合され、照明光線が広視野検出光線路8と関連して、すなわちCCD検出器6と関連して顕微鏡法を実現するからである。
切換ミラー11とビームスプリッタ4は1つのビームスプリッタモジュール12に統合され、これにより切換ミラー11とビームスプリッタ4を適用に応じて交換することができる。これは双方向矢印により表されている。さらにビームスプリッタモジュール12には放射フィルタ13が設けられており、この放射フィルタ13は広視野検出光線路8内にあって、広視野検出光線路8を通って伝播することのできるスペクトル成分を適切にフィルタリングする。もちろんビームスプリッタモジュール12内の放射フィルタ13も交換可能である。
レーザ走査モジュール9は、動作に必要なレーザ光線を、光導体ファイバ14を介してレーザモジュール15から受け取る。
図1に示した構造では、ビームスプリッタモジュール12に、より正確には切換ミラー14に集光照明光線路16が入力結合され、この集光照明光線路16を通って種々の顕微鏡法に対する照明光線が延在する。この集光照明光線路16には、個々の照明モジュールの種々の部分照明光線路が入力結合される。たとえば広視野照明モジュール17が切換ミラー18を介して、広視野照明光線を集光照明光線路16に結合し、これにより鏡筒レンズ27と対物レンズ3を介して試料2が広視野照明される。広視野照明モジュールはたとえばHBOランプを有することができる。別の照明モジュールとして、切換ミラー18が適切な位置にあるときにTIRF照明を実現するTIRF照明モジュール19が設けられている。そのためにTIRF照明モジュール19は、レーザモジュール15から光導体ファイバ20を介して光線を受け取る。TIRF照明モジュール19は、縦方向に可動のミラー21を有する。縦方向の運動により、TIRF照明モジュール19から出力される照明光線が、出力された照明光線の主伝播方向に対して垂直に移動され、これにより結果として対物レンズ3にTIRF照明が、対物レンズ3の光軸に対して調整可能な角度の下で入射する。このようにして、カバーガラスでの全反射に必要な角度を簡単に保証することができる。もちろんこの角度調整を行うためには他の手段も適する。TIRF照明モジュール19は、照明光線が光軸に入射するようミラー21を調整することにより、広視野照明源としても動作することができる。
図1に示した構造では、ビームスプリッタモジュール12に、より正確には切換ミラー14に集光照明光線路16が入力結合され、この集光照明光線路16を通って種々の顕微鏡法に対する照明光線が延在する。この集光照明光線路16には、個々の照明モジュールの種々の部分照明光線路が入力結合される。たとえば広視野照明モジュール17が切換ミラー18を介して、広視野照明光線を集光照明光線路16に結合し、これにより鏡筒レンズ27と対物レンズ3を介して試料2が広視野照明される。広視野照明モジュールはたとえばHBOランプを有することができる。別の照明モジュールとして、切換ミラー18が適切な位置にあるときにTIRF照明を実現するTIRF照明モジュール19が設けられている。そのためにTIRF照明モジュール19は、レーザモジュール15から光導体ファイバ20を介して光線を受け取る。TIRF照明モジュール19は、縦方向に可動のミラー21を有する。縦方向の運動により、TIRF照明モジュール19から出力される照明光線が、出力された照明光線の主伝播方向に対して垂直に移動され、これにより結果として対物レンズ3にTIRF照明が、対物レンズ3の光軸に対して調整可能な角度の下で入射する。このようにして、カバーガラスでの全反射に必要な角度を簡単に保証することができる。もちろんこの角度調整を行うためには他の手段も適する。TIRF照明モジュール19は、照明光線が光軸に入射するようミラー21を調整することにより、広視野照明源としても動作することができる。
さらに集光照明光線路には、マニピュレータモジュール22の照明光線路が入力結合される。このマニピュレータモジュール22も同様に、詳細に図示しない光導体ファイバを介してレーザモジュール15から光線を受け取り、点状または線状の光線分布を試料2の上で走査しながら案内する。したがってマニピュレータモジュール22はレーザ走査顕微鏡の照明モジュールに実質的に対応し、したがってマニピュレータモジュール22はレーザ走査モジュール9または広視野検出の検出器ともCCD検出器6によって組み合わせて駆動することができる。
集光照明光線路16にはさらに光線モジュレータとしてストライプグリッド23が設けられている。このストライプグリッド23は照明光線路の中間画像面にあり、その格子定数は顕微鏡1により試料2に伝達することのできる限界周波数よりも下にある。グリッド23は、これに入射する照明光線をストライプ状に変調する。グリッド23は、集光照明光線路16の光軸に対して横方向に可動であり、光線路から外れるように旋回することもできる。そのために対応する移動駆動部24が設けられている。
照明方向に集光照明光線路16中には、さらに画像野ロータ25がグリッドに後置されている。この画像野ロータ25はロータ駆動部26によって回転される。画像野ロータはたとえば、アッベ・ケーニッヒプリズムとすることができる。
顕微鏡1のモジュールと駆動部ならびに検出器はすべて、詳細に図示しない線路を介して制御装置28と接続されている。この接続はたとえばデータおよび制御バスを介して行うことができる。制御装置28は、顕微鏡1を種々の動作モードで制御する。
制御装置28は顕微鏡1において、古典的な顕微鏡法、すなわち広視野顕微鏡法(WF)、レーザ走査顕微鏡法(LSM)、および内部全反射(TIRF)を行う蛍光顕微鏡法を実施するように構成されており、これらは解像度の高い顕微鏡法、たとえば冒頭に述べたPAL−M、SIM、SLIM、SPEM、STED、RESOLFTと組み合わされ、これらも互いに組み合わされる。図1の顕微鏡1はレーザ操作照明に適した実質的に2つのモジュール、すなわちレーザ走査モジュール9とマニピュレータモジュール22を有する。もちろん別の組合せも可能である。これらのモジュールは、対物レンズ3を備える鏡筒レンズを介して試料2に結合される。マニピュレータモジュール22はレーザ走査モジュールの励起部分を含むだけであり、したがって検出は行わない。これにより試料を点状に照明することができ、照明スポットを試料2の上にラスタ化することができる。好ましくはマニピュレータモジュール22内には切換ユニット、たとえば切換レンズまたはシリンダレンズがあり、これにより点状の照明と線状の照明とを切り換えることができる。線状の照明はとりわけ、集光照明光線路16の中間画像内に存在するグリッド23が旋回して入れられており、線状の照明のラインに対して垂直である場合にとくに有利である。この場合、マニピュレータモジュール22によって簡単にSLIM顕微鏡法が実現できる。
グリッド23の代わりに可変調節可能なストライプモジュレータまたはDMDを、試料2に構造化された照明を形成するために使用することもできる。この場合当然、移動駆動部24およびグリッド23の入/出旋回性も不要である。
画像野ロータ25により、グリッド23(またはこれを置換するエレメント)により形成される構造化された照明を、集光照明光線路16の光軸を中心に回転することができ、それにより構造化された照明が試料2内で種々の角度をとる。したがってマニピュレータモジュール22または広視野照明モジュール17の駆動により、制御装置28によるグリッド23の適切な調整とそれぞれ組み合わせて、顕微鏡1によりSIM、SLIMまたはSPEMの顕微鏡法を実施することができる。もちろん切換ミラー18は適切な位置にもたらされるべきである。
グリッド23が外れるように旋回されている場合、古典的な広視野照明を広視野照明モジュール17により、または古典的なTIRF照明をTIRF照明モジュール19により行うことができる。
個々の動作形式を切り換えるために、切換ミラー18と11ならびにビームスプリッタ4が適切に調整される。そのために実現例ではフリップミラーまたは旋回ミラーを使用することができ、動作形式を順番に切り換えることができる。その代わりに、異なるモジュールの同時動作を可能にするダイクロイックミラーも可能である。
ビームスプリッタ4は好ましくはダイクロイックビームスプリッタとして構成されており、そのスペクトル特性を調整して、CCD検出器6によって検出することのできるマーキング分子の蛍光放射のスペクトル成分は広視野検出光線路8に達し、その他のスペクトル成分はできるだけ透過されるようにすることができる。種々の放射特性を備えるマーキング分子の使用可能性についての柔軟度を高めるために、ビームスプリッタモジュール12には複数の異なるビームスプリッタ4と放射フィルタ13が交換可能に、たとえばフィルタホイール上に配置されている。
図4は、本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す。ここで顕微鏡画像29は古典的顕微鏡法、たとえば通常の蛍光顕微鏡から広視野照明源17と広視野検出を使用して得られるものである。これに対して顕微鏡画像30は、解像度の高い方法、たとえばSIM顕微鏡法またはPAL顕微鏡法から得られるものである。顕微鏡画像29内には構造31があり、構造32は解像度の高い顕微鏡画像30内に存在する。制御装置28は、矢印により象徴される重畳過程33でそれぞれの画像を1つの全体画像に重ね合わせる。重ね合わせは2次元または3次元で、そして2つの変形についてそれぞれ時間を介しても行うことができる。図2は、2次元表示を例示する。図2はさらに、解像度の高い顕微鏡画像30が解像度の低い顕微鏡画像29と組み合わされること、すなわち解像度の異なる2つの顕微鏡法を組み合わせて、1つの全体画像が得られることを概略的に示すものである。図2から、解像度の低い画像29を用いることで初めて、解像度の高い顕微鏡画像30の解像度の高い細部間の関連性が明らかになることが分かる。
図5は、本発明のためのさらなる光学的構成の実施形態を示す。
光導体ファイバ、視準化レンズおよび偏向ミラーからなるファイバ入力結合5.1を介して、照明光が入力結合される。
光導体ファイバ、視準化レンズおよび偏向ミラーからなるファイバ入力結合5.1を介して、照明光が入力結合される。
偏向ミラー5.2を介して照明光は、TIRFモードで画像野を低減するために好ましくは調整可能なテレスコープ5.3を介しフリップ可能なミラー5.4に達する。このミラー5.4によってTIRF角度を調整することができる。
さらなるテレスコープ5.5と偏向ミラー5.6ならびに偏光を回転するための回転可能なλ/2プレートを介して、視準化された光は上に述べたように照明を構造化するためのグリッド5.8の面に、さらに画像回転のための回転可能プリズム5.9、鏡筒レンズ5.10を介して概略的にのみ図示した顕微鏡に達する。前記グリッド5.8は好ましくは交換可能であり、圧電駆動部によって光軸に対して垂直に微細に移動可能であり、顕微鏡はZ調整のために圧電駆動部を有する。顕微鏡には公知のようにLSM5.11光線路が結合されている(独国特許第19702753号明細書参照)。広視野検出のために、ここでは2つの平行なCCDカメラ5.12が検出部に配置されている。
図5に基づき、TIRF照明と構造化された照明(SIM)のためのコンビネーション機器に格納される画像は、2つの方法から形成できることがさらに明らかである。好ましくはTIRF照明と、引き続く検出のためにグリッドが外れるように旋回される。
1つまたは複数の受信器5.1により、グリッドが入るように旋回されているときには、複数のグリッド相での照明と引き続く計算によって高解像度の広視野画像が求められる。
同じ対物レンズを使用すればSIM記録での画像野とTIRF記録での画像野は同じであり、したがって画像野の計算は問題なく可能である。異なる対物レンズを使用する場合、または記録条件が別のものに変化する場合、当業者には公知の画像野を適合するための措置、たとえば使用される対物レンズの較正および画像野の計算補正が行われる。
したがってデータ記録は、SIMに対して必要なすべての画像を含む画像の時間的順序で行われ、TIRF画像は光線路中にグリッドなしで、すなわち構造化なしで記録される。記録順序は重要ではなく、ハードウエアに応じて速度の利点を提供するだけである。たとえば照明をTIRFに変化することが時間を要する場合、この運動を一度だけ実施するのが好ましい。すなわちTIRF画像は画像シーケンスの始めまたは終了で記録する。言い替えると、対象物支持体の近傍にある薄いTIRF小プレートは計算により「側方に」構造化することができる。
Z調整によって積層したSIM画像を形成することもでき、積層体の下方の画像(対象物の最下層)では追加でTIRF記録が行われる。ここで最下層とは、カバーガラスの近傍にある層を意味する。倒立式顕微鏡とは異なる場合には、「最上」層とすることもできよう。したがって驚くことには、この最下層に対する画像データの乗算後に、z方向に関して、しかしY/Y方向にも横側方に良好に分解された画像が発生する。したがってデータ記録の後、たとえばSIMに対してはたとえば15の画像(5相は、0度、72度、144度等の5相、5.9の調整による3つの画像方向)と記録された1つのTRIF画像が存在する。
図6には、構造化された(SIM)照明についてのTIRF6abと6bに対して格納された個別画像が示されている。
これらは6c)で計算的に互いに結合され(好ましくは乗算され)、これにより画像6d)が計算される。この画像6d)は、対象物支持体の近傍で記録された画像に、両方の画像に存在する対象物Oに対する側方構造を追加で付与している。
これらは6c)で計算的に互いに結合され(好ましくは乗算され)、これにより画像6d)が計算される。この画像6d)は、対象物支持体の近傍で記録された画像に、両方の画像に存在する対象物Oに対する側方構造を追加で付与している。
画像の本来の結合は、図7に示すようにTIRF画像によるSIMデータのフィルタ工程で行われる。これは簡単な乗算により実行することができる。この図は、SIMデータの計算の2つの意味のある経過と、TIRF画像との組合せを行うことのできる個所を示す。
工程1〜4、6はすべて標準SIM計算であり、工程5はここで新たに導入されたTIRF重み付けの工程である。詳細には次のように経過する:
1.15の画像が、SIMに対して通例のようにまず前処理される(たとえばバックグラウンドを差引き(場合により追加のバックグラウンド画像の記録により)、それぞれ5つの相を同じ平均的強度にスケーリングし、フーリエ変換のアーティファクトを回避するために画像の縁部を減衰する)。
1.15の画像が、SIMに対して通例のようにまず前処理される(たとえばバックグラウンドを差引き(場合により追加のバックグラウンド画像の記録により)、それぞれ5つの相を同じ平均的強度にスケーリングし、フーリエ変換のアーティファクトを回避するために画像の縁部を減衰する)。
2.これに、分離マトリクスの最適化後に実際に分離するために、次数をまず予備分離する工程が続く。ここで次数とは、グリッドの種々の回折次数により形成されたモアレパターンを意味し、それらの線形結合が各個別の画像で観察される。種々の相画像を記録することにより、線形等式システムが得られ、その解が分離された絶対値(次数)である。誘導の詳細は、「広視野蛍光顕微鏡法の横方向分解能の倍増(Doubling the lateral resolution of wide field fluorescence microscopy)」、グスタフソン(Gustafson)、Agard、Sedat、SPIE Vol.3919(2000)、1605−7422にも記載されている。
画像中において、TIRF切片法とは関係のない関連性(蛍光体の濃度)を得るために、乗算後にさらに、線形の場合に対する補正である正規化を行うべきである。すなわち平方根を開き、これにより側方の強度関係が得られたままとなる。すなわちTIRFとSIMに見られる強度値が、重み付け後に、2乗されていないそれらの元の値を再び獲得する。
図7aと7bには可能な経過が示されている。
これらは以下の工程である(これらの工程についての式と関係についての説明も参照のこと)
1.画像前処理(たとえばバックグラウンドの除去、平滑化フィルタの適用)
2.次数の予備分離
3.分離マトリクスの最適化
4.次数の分離
5.TIRFによる次数のフィルタリング、たとえば乗算と好ましくはこれに続く正規化(たとえば平方根)
6.次数の組合せ(共通の計算と画像表示)。
これらは以下の工程である(これらの工程についての式と関係についての説明も参照のこと)
1.画像前処理(たとえばバックグラウンドの除去、平滑化フィルタの適用)
2.次数の予備分離
3.分離マトリクスの最適化
4.次数の分離
5.TIRFによる次数のフィルタリング、たとえば乗算と好ましくはこれに続く正規化(たとえば平方根)
6.次数の組合せ(共通の計算と画像表示)。
図7aには、構造化された照明により記録された画像の個々の次数の記録および計算をまず実施し、次にTIRF画像と計算し、そして次数から1つの画像を計算して格納すること(工程5)が示されており、図7bではまずTIRF記録が行われ、その後に構造化された画像が記録され、次数が計算され、TIRF画像と計算され、続いて画像の次数が組み合わされる。
SIM法の数学的基礎について、以下補充的に挙げる(前記刊行物も参照のこと):
フーリエ空間での照明パターン:
フーリエ空間での照明パターン:
画像形成:I(k)は光学的変換関数(OTF)Hex(k)と乗算される
Iex(k)=Hex(k)I(k) (2)
Iex(k)が対象S(k)によりフーリエ空間で畳み込まれる。
Iex(k)=Hex(k)I(k) (2)
Iex(k)が対象S(k)によりフーリエ空間で畳み込まれる。
次数の分離:5つの次数D0(k)、D−1(k)、D1(k)、D−2(k)およびD2(k)を分離するためには、少なくとも5つの画像(Np=5)を異なる位相n=1、...、Npにより記録しなければならない:
I=AD’ (9)
ただし
位相は、線形等式システム(8)が線形に依存しない等式から発生するように選択すべきであることに注意。集合(8)は以下のようにD0(k)、D−1(k)、D1(k)、D−2(k)およびD2(k)について解くことができる。
分離マトリクスの最適化:位相□nが十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。分離マトリクスの最適化では:位相□nが十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。しかし実験ではこの値はプリセット値と実質的に異なることがしばしばあり、したがって格子周波数と位相は次数とともにデータから決定すべきである。したがってまず位相に対するプリセット値により式(8)にしたがい分離される(図7の工程2による次数の予備分離)。
分離マトリクスの最適化:位相□nが十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。分離マトリクスの最適化では:位相□nが十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。しかし実験ではこの値はプリセット値と実質的に異なることがしばしばあり、したがって格子周波数と位相は次数とともにデータから決定すべきである。したがってまず位相に対するプリセット値により式(8)にしたがい分離される(図7の工程2による次数の予備分離)。
続いてこの予備分離された次数が、予備分離された次数間の相互相関を最小にすることにより、分離マトリクスAを最適化(分離マトリクスの最適化、図7の工程3)するために使用される。このマトリクスAにより、最後に次数の分離(図7の工程4)が行われる。
ここでは個々の次数のTIRF画像によるフィルタリングを乗算によって行うことができる(TIRFによる次数のフィルタリング、図7の工程5)。平方根を開くことによる正規化は画像における相関強度を獲得する。なぜならTIRFと広視野画像において同じ明るさに見られる強度は同じ明度値を保持しており、しかしTIRFで良好に識別できない他の強度はより暗く示され、したがって所望のz切片法が行われる。
解像度の高い画像が、グスタフソン(Gustaffson)らが記載したのと同じように次数の組合せ(周波数空間での移動とOTFの重み付けによる次数の合計)によって合成される(次数の合計、図7の工程6)。
Claims (8)
- 顕微鏡画像の形成方法であって、
a)それぞれ顕微鏡対物レンズを介して、TIRF法により試料が照明され、
b)構造の種々の移動位置で試料が構造化照明され、
少なくとも1つの試料領域の画像をそれぞれ形成するために、前記a)及びb)による方法の試料光が検出され、
前記a)及びb)にしたがって形成された試料画像が互いに計算され、好ましくは乗算され、新たな試料画像を形成するために結果が格納される、顕微鏡画像の形成方法。 - 試料の画像形成方法であって、
顕微鏡法によって異なる位置分解能を実現し、
少なくとも2つの顕微鏡法、すなわち、
構造化された線形照明または広視野照明により試料を発光励起し、構造を好ましくは回転し、各回転位置に対して複数回移動し、このとき少なくとも3つの回転位置と回転位置ごとに少なくとも3つの移動位置とを実現し、それぞれ発光する試料を所定の光学的分解能で平面検出器上に結像し、このようにして得られた画像からフーリエ分析を含む計算処理によって、所定の光分解能を超えて上昇した位置分解能で第1の顕微鏡画像を形成する第1の顕微鏡法と、
TIRF照明モジュールを介して試料を対物レンズにより、カバーガラスに配置された試料に全反射が生じるように斜めに照明し、該試料を位置分解して検出し、第2の顕微鏡画像を形成する第2の顕微鏡法と
を組み合わせ、
第1の顕微鏡画像と第2の顕微鏡画像とを互いに画素ごとに計算することにより、好ましくは乗算することにより結合する、とりわけ請求項1に記載の試料の画像形成方法。 - 計算的に結合した結果が画像で表示される、請求項1または2に記載の方法。
- 構造化された照明の複数の異なる位相における画像記録により次数を分離する工程と、
次数をTIRF画像により、好ましくは乗算によりフィルタリングする工程と、
次数を共通の計算により組合せ、画像で表示する工程と
を特徴とする請求項1または2に記載の方法。 - TIRF照明を形成するための第1の照明手段と、構造化された照明を形成するための第2の照明手段とが設けられており、
TIRF画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
TIRF画像と、構造の種々の移動位置で構造化された照明から計算された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項1乃至4のいずれか1項に記載の方法を実施するための顕微鏡。 - 照明手段と、検出手段と、顕微鏡対物レンズを含む結像および照明光線路とからなり、
TIRF照明を形成するための第1の照明手段と、構造化された照明を形成するための第2の照明手段とが設けられており、
TIRF画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
該TIRF画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像を計算で結合し、結果を格納するための手段が設けられている、
請求項1乃至4のいずれか1項に記載の方法を実施するための顕微鏡。 - 前記顕微鏡は、
試料を検知する、顕微鏡法のための対物レンズと、
少なくとも部分的に一致している、対物レンズを通る検出光線路および少なくとも1つの照明光線路と、
該検出光線路に結合されており、鏡筒レンズと平面検出器とを有し、該対物レンズとともに該試料を該平面検出器上に結像する顕微鏡モジュールと、
該照明光線路に結合されており、対物レンズにより試料を広視野照明するための広視野照明モジュールであって、少なくとも2つの異なる波長領域で照明光線を出力するように制御可能な広視野照明モジュールと、
照明光線路中に照明方向で該広視野照明モジュールに後置された照明光線モジュレータであって、制御装置により制御可能であり、照明光線路中で作動または非作動可能であり、照明光線の作動状態ではストライプ状の変調を行う照明光線モジュレータと
を有し、
該照明光線モジュレータは、ストライプ状の変調が照明光線路の光軸に対して垂直に移動可能であるように制御可能であり、
該試料の上に配置されたカバーガラスに全反射が生じるように該試料を該対物レンズによって斜めに照射するため、同様に該制御装置により制御されるTIRF照明モジュールが照明光線路に作動可能に結合されており、エバネッセント場に励起された試料光が検出器に達し、その検出信号が格納され、
エバネッセント場に励起された試料体積の検出が行われ、
TIRF画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
TIRF画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項1乃至6のいずれか1項に記載の、分解能が異なる少なくとも2つの顕微鏡法により試料を顕微鏡観察するように構成されたコンビネーション顕微鏡。 - 計算によって発生した画像を画像表示するための手段が設けられている、請求項1乃至7のいずれか1項に記載の顕微鏡。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009043747.9 | 2009-09-30 | ||
DE102009043747A DE102009043747A1 (de) | 2009-09-30 | 2009-09-30 | Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop |
PCT/EP2010/005295 WO2011038817A1 (de) | 2009-09-30 | 2010-08-28 | Verfahren zur erzeugung eines mikroskopbildes und mikroskop |
Publications (4)
Publication Number | Publication Date |
---|---|
JP2013506163A JP2013506163A (ja) | 2013-02-21 |
JP2013506163A6 true JP2013506163A6 (ja) | 2013-05-02 |
JP2013506163A5 JP2013506163A5 (ja) | 2013-10-10 |
JP5707408B2 JP5707408B2 (ja) | 2015-04-30 |
Family
ID=42761248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012531254A Active JP5707408B2 (ja) | 2009-09-30 | 2010-09-29 | 顕微鏡画像を形成するための方法および顕微鏡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9588045B2 (ja) |
EP (1) | EP2483732B1 (ja) |
JP (1) | JP5707408B2 (ja) |
DE (1) | DE102009043747A1 (ja) |
WO (1) | WO2011038817A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009043747A1 (de) | 2009-09-30 | 2011-03-31 | Carl Zeiss Microlmaging Gmbh | Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop |
DE102010026205A1 (de) * | 2010-07-06 | 2012-01-12 | Carl Zeiss Microlmaging Gmbh | Mikroskop, insbesondere Fluoreszenzmikroskop, dichroitischer Strahlteiler und dessen Verwendung |
DE102011077269A1 (de) * | 2011-06-09 | 2012-12-13 | Carl Zeiss Microimaging Gmbh | Hochauflösende Lumineszenzmikroskopie |
WO2014017067A1 (ja) * | 2012-07-27 | 2014-01-30 | 株式会社ニコン | 構造化照明装置及び構造化照明顕微鏡 |
GB201215771D0 (en) * | 2012-09-04 | 2012-10-17 | Univ Nottingham | Monitoring and/or characterising biological or chemicl material |
EP2801854B1 (en) * | 2013-05-10 | 2017-07-19 | Ruprecht-Karls-Universität Heidelberg | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
US20150301028A1 (en) | 2014-04-22 | 2015-10-22 | Q-State Biosciences, Inc. | Analysis of compounds for pain and sensory disorders |
JP2016181643A (ja) * | 2015-03-25 | 2016-10-13 | 株式会社アマダホールディングス | 半導体レーザ発振器 |
EP3298448A4 (en) * | 2015-05-21 | 2019-03-27 | Q-State Biosciences, Inc. | OPTOGENETIC MICROSCOPE |
KR20170042432A (ko) * | 2015-10-08 | 2017-04-19 | 삼성전자주식회사 | 포토레지스트 패턴의 검사 방법 |
CN111386439B (zh) * | 2017-09-18 | 2022-07-12 | 安盟生技股份有限公司 | 干涉成像设备及其应用 |
DE102018108657B4 (de) * | 2018-04-12 | 2024-03-28 | Jenoptik Optical Systems Gmbh | Vorrichtung zur Aufnahme wenigstens eines mikroskopischen Bildes und Verfahren zur Aufnahme eines mikroskopischen Bildes |
US10901202B2 (en) * | 2018-09-19 | 2021-01-26 | Illumina, Inc. | Structured illumination of a sample |
DE102019118003B3 (de) * | 2019-07-03 | 2020-10-22 | Leibniz-Institut für Photonische Technologien e. V. | Mikroskopieanordnung und Mikroskopieverfahren für eine großflächige, hochauflösende chirale Bildgebung sowie deren Verwendung |
KR102258893B1 (ko) * | 2019-11-28 | 2021-05-31 | 재단법인대구경북과학기술원 | 내시현미경의 수직 분해능 최적화 장치, 최적화 광학 시스템 및 최적화 방법 |
CN112326665B (zh) * | 2020-09-28 | 2023-12-19 | 之江实验室 | 一种基于空间分步式移频照明的缺陷检测系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867604A (en) | 1995-08-03 | 1999-02-02 | Ben-Levy; Meir | Imaging measurement system |
DE19758744C2 (de) | 1997-01-27 | 2003-08-07 | Zeiss Carl Jena Gmbh | Laser-Scanning-Mikroskop |
DE19908883A1 (de) | 1999-03-02 | 2000-09-07 | Rainer Heintzmann | Verfahren zur Erhöhung der Auflösung optischer Abbildung |
US6255642B1 (en) * | 1999-06-23 | 2001-07-03 | Massachusetts Institute Of Technology | Standing wave total internal reflection imaging |
JP4414722B2 (ja) * | 2003-10-15 | 2010-02-10 | オリンパス株式会社 | レーザー顕微鏡 |
WO2005092490A1 (ja) * | 2004-03-27 | 2005-10-06 | Futao Kaneko | 光反応性薄膜加工法並びに光反応性薄膜加工装置 |
DE102004034983A1 (de) | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | Lichtrastermikroskop |
DE102004034998A1 (de) * | 2004-07-16 | 2006-02-02 | Carl Zeiss Jena Gmbh | Lichtrastermikroskop mit bewegter Lochscheibe und Verwendung |
EP3203235A1 (en) * | 2005-05-23 | 2017-08-09 | Harald F. Hess | Optical microscopy with phototransformable optical labels |
US7485875B2 (en) * | 2005-07-22 | 2009-02-03 | Carl Zeiss Microimaging Gmbh | Resolution-enhanced luminescence microscopy |
GB0707433D0 (en) * | 2007-04-18 | 2007-05-23 | Stfc Science & Technology | Fluorescence measurement |
DE102008009216A1 (de) * | 2008-02-13 | 2009-08-20 | Carl Zeiss Microimaging Gmbh | Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe |
US20090318815A1 (en) * | 2008-05-23 | 2009-12-24 | Michael Barnes | Systems and methods for hyperspectral medical imaging |
US8019136B2 (en) * | 2008-12-03 | 2011-09-13 | Academia Sinica | Optical sectioning microscopy |
DE102009043747A1 (de) | 2009-09-30 | 2011-03-31 | Carl Zeiss Microlmaging Gmbh | Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop |
-
2009
- 2009-09-30 DE DE102009043747A patent/DE102009043747A1/de not_active Ceased
-
2010
- 2010-08-28 WO PCT/EP2010/005295 patent/WO2011038817A1/de active Application Filing
- 2010-08-28 EP EP10749799.2A patent/EP2483732B1/de active Active
- 2010-09-29 JP JP2012531254A patent/JP5707408B2/ja active Active
-
2012
- 2012-03-30 US US13/499,328 patent/US9588045B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5707408B2 (ja) | 顕微鏡画像を形成するための方法および顕微鏡 | |
JP2013506163A6 (ja) | 顕微鏡画像を形成するための方法および顕微鏡 | |
EP2732326B1 (en) | Microscopy with adaptive optics | |
JP6059190B2 (ja) | 分解能の向上した顕微鏡法および顕微鏡 | |
JP6329896B2 (ja) | 高分解能ルミネッセンス顕微鏡法 | |
Müller et al. | Image scanning microscopy | |
US8704196B2 (en) | Combination microscopy | |
US9086536B2 (en) | Talbot imaging devices and systems | |
JP4747243B2 (ja) | 試料の光学的深部分解による光学的把握のための方法および装置 | |
Murray | Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination | |
JP5784393B2 (ja) | 標本観察装置 | |
US9404867B2 (en) | Luminescence microscopy | |
US10394009B2 (en) | Polarisation microscope | |
US20220076379A1 (en) | Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination | |
DE112012005960T5 (de) | Softwaredefiniertes Mikroskop | |
US20120140057A1 (en) | Microscope for Measuring Total Reflection Fluorescence | |
US9507137B2 (en) | Microscope with structured illumination using displaceable grid structures | |
KR20220110661A (ko) | 이미지들로부터 값들을 추정하는 장치 및 방법 | |
Sanderson | Confocal microscopy | |
WARD | Development of enhanced multi-spot structured illumination microscopy with fluorescence difference | |
Dibaji Foroushani | VOLUMETRIC IMAGING USING THE PUPIL-MATCHED REMOTE FOCUSING TECHNIQUE IN LIGHT-SHEET MICROSCOPY | |
EP3901684A1 (en) | Optical fluorescence microscope and method for the obtaining of optical fluorescence microscopy images | |
Pacheco et al. | Optics of Biomedical Instrumentation | |
Ward et al. | AN OVERVIEW OF IMAGE SCANNING MICROSCOPY | |
US20160370296A1 (en) | 3D tessellation imaging |