JP2021535428A - 仮想対物レンズを有する顕微鏡装置 - Google Patents

仮想対物レンズを有する顕微鏡装置 Download PDF

Info

Publication number
JP2021535428A
JP2021535428A JP2021509909A JP2021509909A JP2021535428A JP 2021535428 A JP2021535428 A JP 2021535428A JP 2021509909 A JP2021509909 A JP 2021509909A JP 2021509909 A JP2021509909 A JP 2021509909A JP 2021535428 A JP2021535428 A JP 2021535428A
Authority
JP
Japan
Prior art keywords
sample
image
illumination
illumination pattern
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021509909A
Other languages
English (en)
Other versions
JP7334236B2 (ja
Inventor
ウール,ライナー
Original Assignee
ミルテニイ ビオテック ベー.ファー. ウント コー.カーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミルテニイ ビオテック ベー.ファー. ウント コー.カーゲー filed Critical ミルテニイ ビオテック ベー.ファー. ウント コー.カーゲー
Publication of JP2021535428A publication Critical patent/JP2021535428A/ja
Application granted granted Critical
Publication of JP7334236B2 publication Critical patent/JP7334236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0044Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

顕微鏡装置であって、顕微鏡対物レンズ(18)と、試料(16)を保持し、試料を顕微鏡対物レンズの光軸に垂直な平面内で動かすための試料ステージ(12)と、線タイプの照明パターンにより試料を照明するための光源(20)および照明パターン発生器ユニット(22)と、顕微鏡対物レンズによって収集される試料からの光を検出するためのエリア検出器(40、44)と、照明パターンを視野にわたって走査方向に動かすための走査ユニット(24)であって、走査方向が、照明パターンの長手方向軸に垂直である、走査ユニット(24)と、顕微鏡装置を、通常倍率モードまたは低倍率モードで選択的に動作させるように構成される制御ユニット(42)と、を備え、低倍率モードでは、試料が、走査方向に逆平行の方向に動かされると同時に、照明パターンは、少なくとも一方向に圧縮された画像を獲得するように、走査ユニットによって視野にわたって動かされ、これにより、圧縮因子が、ステージ速度および走査速度の比率によって得られる、顕微鏡装置が提供される。

Description

本発明は、顕微鏡装置に関する。
二次元検出器に依存する共焦点顕微鏡装置は、通常、例えば物理マスクによって生成される、空間的にフィルタリングされた照明パターンを利用し、走査ユニットによりこのパターンを顕微鏡の視野にわたって動かし、深さ分解能を達成するため、結果として生じる放出パターンの空間フィルタリングのための手段を提供する。空間フィルタリングは、対応する物理マスクによって、または検出器側の電子的に生成されたマスクによって達成される。例えば、スリット状の照明パターンは、記録され得、所与のカメラのローリングシャッタスリット幅をスリット状の放出パターンの幅へ調節することによって、およびそれらのそれぞれの運動を電子的に同期させることによって、共焦点的にフィルタリングされ得る。
ローリングシャッタカメラを使用する最初のそのようなラインコンフォーカル(共焦点)顕微鏡装置は、“Journal of Microscopy”、第247号、2012、ページ269〜276内の、E.Meiらによる記事“A line scanning confocal fluorescent microscope using a CMOS rolling shutter as an adjustable aperture”に説明されている。
スリット状の照明パターンとローリングシャッタ共焦点マスクとの別の組合せは、米国特許出願公開第2014/0313576(A1)号に説明されており、ここでは、スリット状の照明は、3D−SIM(“構造化照明顕微鏡”)画像へと組み合わされ得るスリット共焦点的にフィルタリングされた位相画像を記録するように、構造変調を含む。
Physical Review Letters 104、198101(2010)内の、C.B.Mullerらによる記事“Image scanning microscopy”では、共焦点顕微鏡装置が説明され、ここでは、分解能は、単一の回折限界スポットを有する照明を使用することによって2倍に向上され、また、Yorkら(Nature Methods.2013 Nov;10(11):1122−1126内の“Instant super−resolution imaging in live cells and embryos via analog image processing”)は、2つ以上のスポットで作用するようにこの方法を拡張した。
古典的な顕微鏡法では、倍率および分解能は、選択された顕微鏡対物レンズによって決定される。複数の異なる顕微鏡法応用に対応するため、顕微鏡装置は、典型的には、ビームパス内に交換可能に位置付けられ得る複数の対物レンズを含む。カメラが検出器として使用される場合、所与の画素サイズは、選択されるべき倍率に対して影響を及ぼすが、それは、画素が対物レンズにより分解される空間周波数に対応する場合にのみ、カメラにより記録される画像が、対物レンズの開口数(“NA”)によって規定される分解能と一致するためである。例えば、回折限界性能をもたらすために、6.5μmの典型的な画素サイズは、40x対物レンズではなく60x対物レンズの使用を必要とするが、40x対物レンズは、同じNAで、故に同じ分解能で、利用可能である。
しかしながら、交換可能な対物レンズの使用の必要性は、顕微鏡装置の機械構造に対して、特に、垂直調節駆動および自動焦点システムに関して、ならびに瞳ビームパスの調節に関しても(典型的には、異なる対物レンズの瞳位置は異なり、これは、構造化照明を使用するときなど、瞳の照明が極めて重要である顕微鏡装置には特に重要である)、ある特定の制限を課す。さらに、対物レンズを交換する必要性は、カバーガラスの厚さ補正または浸漬液の自動適用など、すべての自動プロセスにとって煩わしい。したがって、交換可能な対物レンズの必要性は、顕微鏡装置の性能に悪影響を及ぼし得る。
本発明の目的は、柔軟であるにもかかわらず簡便な動作を可能にする顕微鏡装置を提供することである。
この目的は、請求項1および請求項12それぞれに規定されるような顕微鏡装置によって達成される。
本発明は、同じ物理対物レンズを用いて異なる実際の倍率を獲得することを可能にする“仮想対物レンズモード”を呈する顕微鏡装置を提供する。そのような仮想対物レンズは、実際の対物レンズよりも低い倍率(サブ倍率モード)または高い倍率(超倍率モード)を呈し得る。両方のモードは、好ましくは、共焦点空間フィルタリングを利用し、画質を犠牲にすることなく、交換可能な対物レンズを使用した顕微鏡設計の難点を克服する。反対に、考えられるすべての用途に単一の対物レンズを使用することにより、画質は、多くの場合において、改善されることさえあり得る。
請求項1に規定されるような本発明の第1の態様によると、ラインライプの照明パターンが、視野にわたって、およびしたがって試料にわたって、走査方向に走査アセンブリによって動かされると同時に、検出器は、好ましくは、ローリングシャッタカメラとして機能し、対応するストリップ様の活性化区域が、試料の照明された部分の画像が常に検出器の活性化区域内に留まるようなやり方で、検出器にわたって同期的に動く。これまでのところ、このソリューションは、J.of Microscopy、247、2012、p.269−276内のMeiらによる上記の記事に説明される手順に従う。しかしながら、本発明の第1の態様によると、縮小された検出を獲得するため、試料は、絶えず対物レンズに対して動かされ、この動きは、走査方向と反対の方向(および、ローリングシャッタが存在する場合は、対応するローリングシャッタ方向)に発生する。したがって、所与の試料部分は、試料速度および走査速度の合計に値する速度でスリット状の照明を通過する。(共線的な)走査および運動軸に沿った、結果として生じるぼやけは、所望の仮想縮小によって補われる以上のものである。走査方向に直交する方向におけるビニングは、倍率を両方向において一致させることを可能にする。したがって、試料の動きの方向において顕微鏡対物レンズの仮想倍率を調節することは、走査速度に対する試料の動きの速度を制御することによって達成されるが、直交方向では、これは、適切な数の画素をビニングすることによって達成され得る。走査方向は、照明パターンの長手方向軸に垂直である。
例えば、n=3x縮小は、試料上のスリットパターンの(n−1)x速度でステージが動くことを必要とする。したがって、1回のスイープは、走査方向では3つのカメラフレームの長さをカバーし、直交方向では1つのみである。3×3フレームに相当するものを獲得するため、1回のパターン走査は、カメラエリアの3倍をカバーし、そのような走査は、全部で3回繰り返される必要がある。画像取得を最大限に速めるためには、双方向(ジグザグ)走査が好ましい。
より広い領域から画像を獲得することは、試料が連続して動いている間、より長い範囲が単一のスイープにおいて測定されることを必要とする。この目的のため、光は、ローリングシャッタがチップの最後のラインから最初のラインへ再びリセットされる間、オフにされなければならない。光は再びオンにされ、走査アセンブリおよびローリングシャッタは、それらのタスクを、以前に走査された試料の部分が最初の検出器ラインを再び越えるときに再開する。
本発明のこの第1の態様、すなわち、縮小仮想対物レンズは、所与の試料の概観を記録することと、高分解能画像を獲得することとの間で対物レンズを変更する必要性を除去し、また縮小仮想対物レンズでは、最後に高分解能画像に必要とされる浸漬液が、所与のプロトコルを開始する前に適用され得ると仮定すると、プロトコル実行は、より円滑およびより簡便になる。従来の試料マッピングの通常のストップアンドゴーを回避することによって節約される時間は、n倍縮小が要求される場合にn倍多くの画像トレースを記録することを必要とすることによって発生した余分の時間を補う。
先述の好ましいスリット共焦点が上で説明される際、ローリングシャッタカメラを、所定の時間に照明されない領域から画像情報を取得する他のカメラタイプで置き換えることができる。すでに上で述べたように、唯一の必要条件は、試料の動きの方向および照明パターンの長手方向軸(パターンのラインの配向に対応する)が互いに直交することである。このような共焦点の放棄は、画質を広視野画像のレベルへ低下させる一方で、試料の動きの間正しい焦点位置を維持することに関して困難が少ない。
スリット状の照明パターンは、例えば第2の対物レンズを使用することによって(典型的には、顕微鏡の光軸に対して約90°の角度で)、いわゆる光シートモードを用いて側面から生成される際には、上記の仮想対物レンズスキームのスリット照明に置き換わることができ、連続して動いている試料からも光シート画像を取得することができるということにも留意されたい。ここでも、試料および走査は、照明パターンの長手方向軸に直交して配向される共通軸に沿って動かなければならない。
本発明の第2の態様は、請求項12に規定されるような仮想“超倍率モード”を可能にする顕微鏡装置に関する。そのような仮想超倍率モードは、異なるカメラ読み出しスキームを必要とする。試料上での照明パターンの連続した動きと同期される、連続して動いているアクティブウィンドウを有する代わりに、画像フレームは、複数の“サブアレイスナップショット”からなり、これにより各々のそのようなスナップショットは、ライン型の照明/放出パターンを完全に収容するのに必要とされるだけの画素列を含む。スナップショット間で照明パターンは動き、パターンを常にアクティブウィンドウ内に保つために、アクティブウィンドウは、増分的にシフトされる。パターン−スナップショットの分析は、各スナップショットが、対応する共焦点アパーチャが通すものよりも、パターン最大値の周囲に関するはるかに多くの情報を含むことから、大いに促進される。測定された強度プロファイル、パターン−スポットの既知の点広がり関数、および既知の走査速度から、デコンボリューションアルゴリズムは、古典的な共焦点顕微鏡を用いた場合よりもはるかに強固な基礎に依拠する。
緩徐な異形では、走査運動も段階的に実行される一方、高速の異形は、連続した走査運動を利用し、これにより動き依存のぼやけは、ストロボ照明によって回避されるか、または、ぼやけの影響は、予測可能な動きアーチファクトのデコンボリューションによって最小限にされる。これは、一方では試料および照明パターンの動きの相対速度を、および他方では照明パターンの点広がり関数を正確に知ることによって促進される。
上記の“スナップショットモード”は、原理上は、仮想縮小にも使用され得るが、これは、ラインに沿って配置される回折限界スポットを含む照明パターンを使用することによって、および検出器チップ上の一致しているスリット状の領域、すなわち、パターンの画像を常に含む画素サブセットを記録することによって、仮想倍率が実際の倍率と比較して最大2xまで増大され得る“超倍率モード”を実行するのに特に有用である。このタイプの照明パターンそれ自体は、例えば、米国特許出願公開第2014/0313576(A1)号から知られており、例では、パターンは、固定マスクおよび動いているスリット状の照明野によって生成され、現在の“超倍率モード”では、実際の照明パターンは、試料にわたって動かされ、複数のスナップショットが、試料とのパターンの相互作用を、個別のデコンボリューション可能な画像へと分解する。
走査ユニットの走査を完了後、パターン画像を常に含むために十分に幅広い第1の複数の部分画像を生成し、これにより、各部分画像の開始画素列の位置が検出器上の照明パターンの画像の動きと同期して増分され、試料の何分の1かにだけ、照明パターンが見られる。完全な画像を獲得するために、単一のスイープ後の残っている間隙は、充填されなければならない。この目的のため、パターンは、走査方向に対して斜めにシフトされなければならず、走査プロセスは、繰り返されなければならない。そのような繰り返しが何回必要とされるかは、パターンの間隙幅に依存する。より幅広の間隙は、より良好に区別された個々のスポットを意味し、したがって、それらのデコンボリューションを促進するが、それらはまた、単一のスイープごとのより多くのスナップショット、および間隙を充填するためにより多くのスイープを意味する。
所望の倍率増加を、分解能における付随する増加と共に達成するために、孤立したデコンボリューションされたスポット画像(デコンボリューションは、スポットの既知の点広がり関数、および照明パターンの動き(および、もしあれば、試料の動き)に関する情報に基づく)は、2倍収縮され、照明されたスポットの画素化画像が、サイズが2倍減少され、最大値が以前あった位置に留まるように、位置付けられることを意味する。この手順は、本質的には、Physical Review Letters 104、198101(2010)内のC.B.Mullerらによる“Image scanning microscopy”に説明される方法に従うが、この場合は、複数のスポット画像に同時に利用される。しかしながら、結果として生じる超倍率は、パターン−スポット間の間隙を拡大し(2倍)、故に、サンプリング周波数は、2×2=4xに増大されなければならない。したがって、画像は、視野全体(したがって、それぞれの試料表面領域)が、デコンボリューションされた放出スポットによって多かれ少なかれ均一にカバーされているときにのみ、そのようにして完成される。
実際、超倍率モードでは、回折限界スポットは、平行な隣接レーン内で試料表面にわたって動かされる。
超倍率モードでは、達成された実際の倍率は、通常倍率モードでの顕微鏡対物レンズの倍率よりも最大で2倍大きいことがあり、分解能もまた、最大で2倍増大され得る。
先述の超倍率の顕微鏡装置はまた、照明パターンが回折限界スポットで構成されず、ライン型である通常倍率モードで動作され得る。
本発明の好ましい実施形態は、従属請求項において規定される。
以後、本発明の例は、添付の図面を参照して例証される。
本発明に従う顕微鏡装置の例の概略図である。 低倍率モードで顕微鏡装置を動作させるときの試料の動きおよび走査の動きを例証する図である。 高倍率モードで顕微鏡装置を動作させるときの回折限界スポットを使用した照明パターンの画像の概略図である。
図1は、2つ以上の顕微鏡対物レンズの必要なしに可変倍率を可能にする共焦点顕微鏡装置10の例を例証する。顕微鏡装置10は、試料16を、少なくとも、顕微鏡対物レンズ18、および照明光を提供するためのレーザなどの光源20の、光軸に垂直の平面内で動かすための駆動ユニット14を含む可動の試料ホルダまたはステージ12を備え、照明光は、照明パターンを生成するためにパターン発生器22においてフィルタリングされる。顕微鏡装置10は、無限空間を生成するための偏向ミラー26および走査レンズ28を含む走査ユニット24(好ましい実施形態では、検流計駆動)、ならびに、照明パターンにより試料18を照明するように二色性ビームスプリッタ34を介して顕微鏡対物レンズ18の瞳上に向けられる照明光ビーム32をコリメートするための第1のチューブレンズ30をさらに備える。試料16の照明された部分によって放出される光(典型的には、蛍光)は、顕微鏡対物レンズ18によって収集され、二色性ビームスプリッタ34(図1の例では、ロングパス)を通過して第2のチューブレンズ36上へ進み、これが、照明された試料表面の画像をカメラ検出器40上に生成するために、画像ビーム38をコリメートする。
顕微鏡装置10は、試料ホルダ駆動ユニット14、走査ユニット24、検出器40、およびパターン発生器22を制御するための制御ユニット42をさらに備える。
より詳細に説明されるように、検出器40は、選択された照明パターンに準拠して共焦点測定を可能にするように、ローリングシャッタ機能を装備する。
顕微鏡装置は、単一の物理顕微鏡対物レンズが、顕微鏡装置の“通常の”動作と比較して、低減された倍率を有するか、あるいは増加された倍率を有する“仮想対物レンズ”として使用され得るように実装される。物理対物レンズ18は、所望の最大分解能に従って選択されるが、顕微鏡装置は、低倍率モードまたは高倍率モードで動作され得、これらのモードでは、物理対物レンズ18は、それがあたかも、少なくとも一次元においては、より低いまたはより高い倍率を有する対物レンズであるかのように挙動する。
例えば、試料の詳細な蛍光測定を実施する前に、まず試料の概観画像を記録して、試料の潜在的に関心のある領域を識別することができることが望ましい場合があり、次いでこの領域は、より高い分解能で詳細に調査され得る。特に、顕微鏡装置のそのような概観モードから、より高い分解能を用いたモードへ、新たに対物レンズの焦点を合わせる必要なしに、および概観モードと高分解能モードとの間に浸漬液の繰り返しの適用の必要なしに、短時間で切り替えることができることが望ましい。
例えば、6.5μmの画素サイズを有する4メガ画素カメラを使用することにより11×11mmの試料領域をマッピングし、次いで、選択されたサブ領域を、高分解能を用いて特徴づけることが望ましい場合がある。高分解能画像では、60x倍率が、シャノンのサンプリング定理に準拠して選択され得る。しかしながら、概観画像では、6倍低い倍率で十分であり、その結果として、典型的には、10x対物レンズがこの目的のために使用される。物理60x対物レンズによって仮想10x対物レンズを実現するために、50×50=2500の単一フレームを記録し、次いで6×6画素ごとにビニングしなければならない。最も速いストップアンドゴー動作でさえ、これには10分より長くかかり、この時間の間、オペレータは作業することができず、この後に、より詳細に調査されるべきサブ領域を選択することができる。古典的な接眼レンズ顕微鏡を使用するオペレータは、10x対物レンズを使用することによって標本を無作為に検査し、次いで、関心のある領域を見つけると、10x対物レンズを60x対物レンズと交換することによって、そこで60x倍率に切り替える。これは、高分解能対物レンズが液浸対物レンズである場合、特に、いくつかの無作為な試料がいくつかの対物レンズ変更を必要とする場合、煩わしいプロセスである。
提案されたソリューションは、試料に対する“照明スリット”(すなわち、ラインタイプの照明パターン)の動きを使用し、この照明スリットは、カメラチップのそれぞれの寸法に対応する長さを有し、そのような相対的な動きは、止まることなく連続して発生し、結果として生じる放出画像も同様に連続して記録される。この方法では、まず、単一のレーン(上記の例では、長さ11mmおよび幅220μmを有し得る)が記録され、次いで隣接レーンが、一つずつ記録される。概観画像の各画像画素は、このとき、所望の仮想倍率に従って両方の次元において圧縮された、いくつかの初期の高分解能画素からなる。
低減された倍率を有する仮想対物レンズは、(1)顕微鏡装置に対する標本の連続的な動き、(2)照明パターンも同様に、標本の動きと反対の方向に顕微鏡対物レンズに対して動いている状態での、対物レンズを通じた標本のスリット様の照明、および、スリット走査共焦点を獲得するために、(3)照明スリットと同期して動く、“スロットシャッタ”を有するローリングシャッタカメラ、を提供することによって実現され得る。比較的短い露出時間を使用することにより、ローリングシャッタスリットは、かなり狭くされ得、また、照明スリットの幅に調節され得、これによりスリット共焦点検出が可能にされる。試料およびスリットの反対の運動方向が、スリットが固定である場合と比較してより低いぼやけを結果としてもたらす。
上記の原則は、以後、仮想20x対物レンズを参照して例証され、試料は、対物レンズおよびカメラ検出器に対して連続して動かされ、照明スリットは、試料の動きの速度の半分で走査ユニットによって対物レンズに対して動かされる。図2は、試料16にわたる、および検出器カメラ40のチップ44にわたる照明スリット(すなわち、照明ライン)50のそのような動き、ならびに顕微鏡装置に対する、故にカメラチップ44に対する試料16の動きを例証する。照明スリット50の動きの方向は、矢印52によって示され、試料の動きの方向は、矢印54によって示され、数字“1、2、3、4”は、試料16の異なる領域を指定する。
図2に見られるように、時間T、T、およびTにおいて、照明スリット50が長さLにわたって1回動かされ、カメラチップ44の端に到達するとき、照明スリット50は、3つの試料セクタ/領域、具体的には、セクタ1、2、および3にわたって動かされている、故にこれらを照明している一方、試料は、検出器チップ44に対して2つの試料セクタだけしか動かされていない(図2に示される試料セクタは、検出器チップ44の領域に等しい)。言い換えると、照明スリット50が、試料16にわたって3つのチップ長さLだけ動かされている一方、試料は、検出器チップ44に対して2つのチップ長さLだけしか動かされていない。
ここで、時間Tにおいて、照明光は、オフにされ、照明スリット50は、走査ユニット24によってこの暗期の間その開始点に戻される(検出器チップ44に対して)。その後、時間Tにおいて、照明光は、再びオンにされ、試料セクタ3のすでに走査された左縁が照明スリット位置を通過するとすぐに、走査動作が再び開始される。この手順は、第1の画像レーン56の所望の長さが記録されるまで繰り返される。
その後、隣接レーン58が記録されるが、しかしながら、好ましくは、すべての動きの方向(具体的には、試料の動き、ローリングシャッタの動き、および照明スリット走査の動き)は、時間を節約するように逆にされる。11×11mmの領域が記録されることになる例では、50レーンが、記録されなければならず、また結果として生じる画像は、その領域全体が記録されるように、モザイクタイプのように組み合わされなければならない。図2に示される例では、各(部分)画像は、3つの試料セクタ(3つのチップ領域に対応する)をカバーする。22mm/sという現実的な試料ステージ速度を仮定すると、応答時間なしの単なる走査時間は、50×0.5s=25sである。応答時間(主に、制動期およびその後の加速期からなる)をたっぷりと仮定したとしても、この方法は、10x対物レンズを使用したストップアンドゴー記録に対して10倍より多くの走査手順の加速を言明する。
そのような仮想20x対物レンズの分解能は、走査方向52に垂直の方向において、実際の(物理)60x対物レンズの分解能に対応するが、しかしながら、3倍ビニングにより、画素分解能は、所望の仮想倍率へ調節され得る。完璧に真っすぐに動かないステージは、ゆがみを発生させ得るが、しかしながら、このゆがみは、関連空間周波数領域では大した問題ではないということに留意されたい。
上記の方法では、仮想対物レンズの倍率は、試料がチップにわたって1回動く間に、照明スリット50が、試料にわたっていくつのチップ長さLの上を動くかに対応する因子によって決定されるが、分解能低減の因子は、照明スリット50がチップ44にわたって1回動く間に、試料が、チップ44に対して動くチップ長さLの数によって決定される。これらの検討事項は、当然ながら、走査方向52/試料の動きの方向54にのみ当てはまる。したがって、本例では、仮想対物レンズの倍率は、20x対物レンズのものに対応する一方、仮想対物レンズの分解能は、物理60x対物レンズの分解能の約半分を有する30x対物レンズのものに対応する。
別の例によると、本方法は、カメラ速度およびステージ精度が十分に高いことを前提として、仮想20x対物レンズが物理40x対物レンズの分解能を有するように、速度の損失なしに調節され得る。この目的のため、ステージおよび走査ユニットは、反対方向に同じ速度で動かされ得、暗期は合計運動時間の50%に値する。
上記の方法は、例えば、ローリングシャッタカメラを使用することによって実行され得、アクティブウィンドウがチップにわたって連続して動き、アクティブウィンドウがチップの端に到達すると、チップのすべてのラインが読み出される。それは、他のカメラタイプでも作用するが、この場合は、スリット共焦点を失い、広視野顕微鏡の画質をもたらす。
代替的な実施形態によると、複数の部分画像から画像を合成することができるカメラが使用され得、この複数の部分画像は、重なり合っており、1つの部分画像から次の部分画像へ部分画像の幅の何分の1かだけ動かされる。例えば、第1の部分画像は、チップの列1〜10まで記録され得、第2の部分画像は、列2〜11まで記録され得るなど、1つの部分画像から次の部分画像へ1画素列の増分を伴う。そのようなカメラを使用することにより、動いている標本にわたるスリットタイプの照明パターンの動きは、チップ上の試料の画像の動きによってぼやける試料上のスリットの画像が、常にアクティブウィンドウの中心に留まるようにで、現在アクティブな画素列をスリットの運動に同期して増分することによって追跡され得る。結果として生じる部分画像は、ステージ(試料を動かす)および走査ユニット(照明スリットを動かす)の既知の相対的な動きを使用することによって走査方向にデコンボリューションされ得、次いで、デコンボリューションされた画像は、最終的な完全な画像を達成するために組み合わされ得る。
低倍率を有する仮想対物レンズを実装することによって蛍光概観画像の高速記録のために物理高倍率対物レンズを使用するとき、使用される高倍率対物レンズの焦点深度は、従来使用されていた低倍率対物レンズ(10x対物レンズなど)のものよりもはるかに低いということに留意されたい。したがって、仮想対物レンズの恩恵を享受するためには、超高速反応焦点保持システムを使用することによって試料の一定の焦点位置が確実にされなければならず、また概観が獲得されることになる標本は、調節された焦点面内に位置しなければならない。
別の態様によると、図1に示される顕微鏡装置は、物理対物レンズ18よりも高い倍率を有する仮想対物レンズを実装するために使用され得、そのような高倍率(または“超倍率”)仮想対物レンズはまた、物理対物レンズ18よりも高い分解能を有し得る。この目的のため、回折限界スポットの線形の列が、照明パターンを形成するようにパターン発生器22によって生成され得(上の例にあるようにライン型/スリット様のパターンを生成するのではなく)、照明パターンは、2つのスポット60が検出器16上に示される図3の上部に例証される。照明パターンが、視野にわたって、したがって試料16にわたって、走査ユニット24によって動かされる間、チップ44上のアクティブ画素ウィンドウは、前の例のように、チップ44の一方の端から他方の端へ連続して同期して動かされる。
これにより、数Nの部分画像が獲得され、これが、試料上の照明パターンのスナップショットを表し、また走査速度により分解能ニーズへ調節され得る程度に走査方向にぼやける。登録された照明スポットごとに、スポットの正確な位置および周囲の照明欠損の位置が知られているため、画像のデコンボリューションは、非常に意図的なように発生し得、走査方向に垂直に位置する隣接照明スポットの影響が除去され得る。
しかしながら、照明パターンは、前に論じたスリットタイプのパターンと対照的に、スポットの間に“空所”(または“間隙”)を有するため、照明パターンの異なる横位置で走査動作を繰り返すことによってこれらの空所を“充填する”必要があり、すなわち、照明パターンは、多くの場合、列内の隣接スポット間の“空所”が閉じられ得るように、走査方向に垂直の方向に、2つの隣接照明スポット間の距離の何分の1かだけ繰り返しシフトされる。これは、走査手順のM回の繰り返しを必要とし、Mは、所望の分解能によって、ならびに、すべての間隙が充填されなければならない、および試料のすべての点が、同じ量の光を“見て”いなければならないという要件によって決定される。最後に、N×Mスナップショット(部分画像)が、各部分画像のそれぞれの記録位置に関する知識を使用することによって、単一の最終画像を獲得するために組み合わされ得る。
最終的に、デコンボリューションから生じるスポットは、それらの中心周辺で2倍圧縮され得る(図3の下部に例証されるように)。十分に近いサンプリングの場合、すなわち、走査方向において、およびそれに垂直の方向において、十分な数の画像点/照明スポットが、組み合わされた画像が間隙/空所を含まないように記録される場合、従来の画像と比較して平方根の倍(2倍)高い水平分解能が獲得され得る。したがって、1.28のNAを有する物理60x対物レンズにより記録された画像は、1.8のNAを有する仮想120x対物レンズを用いて記録された画像に対応する。

Claims (15)

  1. 顕微鏡装置であって、
    顕微鏡対物レンズ(18)と、
    試料(16)を保持し、前記試料を前記顕微鏡対物レンズの光軸に垂直な平面内で動かすための試料ステージ(12)と、
    ラインタイプの照明パターンにより前記試料を照明するための光源(20)および照明パターン発生器ユニット(22)と、
    前記顕微鏡対物レンズによって収集される前記試料からの光を検出するためのエリア検出器(40、44)と、
    前記照明パターンを視野にわたって走査方向に動かすための走査ユニット(24)であって、前記走査方向が、前記照明パターンの長手方向軸に垂直である、走査ユニット(24)と、
    前記顕微鏡装置を、通常倍率モードまたは低倍率モードで選択的に動作させるように構成される制御ユニット(42)と、を備え、
    前記低倍率モードでは、前記試料が、前記走査方向に逆平行の方向に動かされると同時に、前記照明パターンが、少なくとも一方向に圧縮された画像を獲得するように、前記走査ユニットによって前記視野にわたって動かされ、これにより、圧縮因子が、ステージ速度および走査速度の比率によって得られる、顕微鏡装置。
  2. 前記通常倍率モードでは、前記試料(16)が、一定に保たれるか、または、前記低倍率モードよりも低い速度で前記走査方向に逆平行の方向に動かされる、請求項1に記載の顕微鏡装置。
  3. 前記走査ユニット(24)は、前記検出器上の照明ラインの画像が前記検出器(44)の長さの一端に到達するとき、前記照明パターンが、1つの走査サイクルを完了するように、前記検出器の長さの他方の端における前記視野にわたる動きの開始位置へ戻される間、前記照明パターンによる前記試料(16)の照明が遮られるように、制御される、請求項1または2に記載の顕微鏡装置。
  4. 前記試料が、所望の試料表面全体が前記照明パターンによって1回カバーされるまで動かされている間、前記走査サイクルは繰り返され、前記試料表面のサブ画像が、各走査サイクルにおいて作成され、前記少なくとも一方向に圧縮された画像が、前記サブ画像を組み合わせることによって生成される、請求項3に記載の顕微鏡装置。
  5. 前記試料(16)は、前記照明パターンが平行な隣接レーン(56、58)内で前記試料表面にわたって動くように動かされ、隣接レーン(56、58)について、好ましくは、前記走査方向(52)および前記試料(16)の動きの方向(54)の両方が、逆にされる、請求項4に記載の顕微鏡装置。
  6. 前記走査方向に垂直の横方向における前記少なくとも一方向に圧縮された画像では、前記試料の動きによって引き起こされる前記走査方向における分解能の低減に対応する因子による画素ビニングが、双方向に圧縮された画像を獲得するために適用され、前記ビニングの因子は、好ましくは、試料点の画像が1つの走査サイクルの間に前記検出器上で動く距離を、前記検出器の長さで割って、1を引いたものの逆数である、請求項1〜5のいずれか一項に記載の顕微鏡装置。
  7. 前記検出器(40、44)は、一度に前記検出器のストリップ様の区域のみが活性化されて光を検出するように、前記制御ユニット(42)によって制御されるローリングシャッタカメラであり、前記活性化区域は、前記試料(16)の照明された部分の画像が前記検出器の前記活性化区域内に入るスリット共焦点照明を実行するように、前記検出器上の前記照明パターンの画像の動きと同期して前記検出器にわたって動かされる、請求項1〜6のいずれか一項に記載の顕微鏡装置。
  8. 前記検出器(40、44)にわたる前記活性化区域の動きは、前記活性化区域が検出器チップ(44)にわたって動く間、前記活性化区域内の連続的な記録によって実行され、前記検出器チップは、前記活性化区域が前記検出器チップの前記一端に到達すると読み出され、前記活性化区域の幅は、好ましくは、前記検出器上の前記照明ラインの画像の幅に6画素列未満を足したものである、請求項7に記載の顕微鏡装置。
  9. 前記検出器(40、44)にわたる前記活性化区域の動きが、X画素列の幅の複数の部分画像を記録することによって実行され、開始画素列の位置は、前記照明ラインの画像が前記部分画像内に位置するように、前記検出器上の前記照明パターンの画像の動きと同期して増分され、各部分画像の幅は、前記検出器上の前記照明ラインの画像の幅よりも大きく、前記部分画像が、組み合わされる前に、前記試料および前記照明パターンの既知の動きに従ってデコンボリューションされる、請求項7に記載の顕微鏡装置。
  10. 前記検出器(40、44)が、好ましくは10μm未満の画素サイズを有し、好ましくは少なくとも1メガ画素を含むsCMOSカメラである、請求項1〜9のいずれか一項に記載の顕微鏡装置。
  11. 前記顕微鏡装置(10)が、ルミネセンス励起用であり、照明光および検出されるべき励起光を分離するための二色性ビームスプリッタ(34)を備え、前記顕微鏡対物レンズ(18)によって収集される光が、好ましくはチューブレンズ(36)によって、前記検出器(40、44)上に結像される、請求項1〜10のいずれか一項に記載の顕微鏡装置。
  12. 顕微鏡装置であって、
    顕微鏡対物レンズと、
    試料(16)を保持するための試料ステージ(12)と、
    照明パターンにより前記試料を照明するための光源(20)および照明パターン発生器(22)と、
    前記顕微鏡対物レンズによって収集される前記試料からの光を検出するためのカメラ検出器(40、44)と、
    前記照明パターンを視野にわたって走査方向に動かすための走査ユニット(24)と、
    前記顕微鏡装置を、通常倍率モードまたは超倍率モードで選択的に動作させるように構成される制御ユニット(42)と、を備え、
    前記超倍率モードでは、前記照明パターンが、回折限界スポットの線形の列を形成し、
    前記検出器にわたる活性ストリップ様の区域の動きが、X画素列の幅の第1の複数の部分画像を記録することによって実行され、
    開始画素列の位置は、照明ラインの画像が部分画像内に位置するように、前記検出器上の前記照明パターンの画像の動きと同期して増分され、各部分画像の幅が、前記検出器上の照明スポットパターンの画像の幅よりも大きく、
    視野にわたる前記照明パターンの動きは、前記照明パターンが、第2の複数の部分画像を少なくとも記録するために、隣接するスポット間の距離の何分の1かだけ横方向にシフトされた後、少なくとも1回繰り返され、
    前記部分画像は、照明された試料表面の完全な画像を獲得するために組み合わされる前に、前記試料および前記照明パターンの既知の動きに従ってデコンボリューションされる、顕微鏡装置。
  13. 前記完全な画像は、前記スポットがそれらの中心周辺で2倍に圧縮されるように、フィルタリングされる、請求項12に記載の顕微鏡装置。
  14. 前記超倍率モードでは、前記試料が、前記走査方向に逆平行の方向に動かされると同時に、前記照明パターンが、前記視野にわたって動かされ、前記通常倍率モードでは、前記照明パターンが、好ましくは、ラインタイプのパターンである、請求項12または13に記載の顕微鏡装置。
  15. 前記試料(16)が、落射蛍光モードで前記顕微鏡対物レンズ(18)を介して前記照明パターンにより照明されるか、または、前記試料は、前記照明パターンが、前記対物レンズの光軸に垂直である横方向から適用される光シートモードで照明される、請求項1〜14のいずれか一項に記載の顕微鏡装置。
JP2021509909A 2018-08-20 2019-08-12 仮想対物レンズを有する顕微鏡装置 Active JP7334236B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18189762.0A EP3614190A1 (en) 2018-08-20 2018-08-20 Microscope device with virtual objective
EP18189762.0 2018-08-20
PCT/EP2019/071589 WO2020038754A1 (en) 2018-08-20 2019-08-12 Microscope device with virtual objective

Publications (2)

Publication Number Publication Date
JP2021535428A true JP2021535428A (ja) 2021-12-16
JP7334236B2 JP7334236B2 (ja) 2023-08-28

Family

ID=63311909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021509909A Active JP7334236B2 (ja) 2018-08-20 2019-08-12 仮想対物レンズを有する顕微鏡装置

Country Status (5)

Country Link
US (1) US20210181489A1 (ja)
EP (3) EP3614190A1 (ja)
JP (1) JP7334236B2 (ja)
CN (1) CN112654911B (ja)
WO (1) WO2020038754A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019100184A1 (de) * 2019-01-07 2020-07-09 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102020111786B4 (de) * 2020-04-30 2023-08-31 Till I.D. Gmbh Verfahren und Mikroskopvorrichtung für die beschleunigte Mikroskopie großer Proben sowie Datenträger
DE102021134427A1 (de) * 2021-12-22 2023-06-22 Carl Zeiss Microscopy Gmbh Mikroskop und verfahren zur mikroskopie

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171719A (ja) * 1998-12-09 2000-06-23 Lasertec Corp 撮像装置
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
DE102010013223A1 (de) * 2010-03-29 2011-09-29 Lavision Biotec Gmbh Verfahren und Anordnung zur Mikroskopie
US20120257037A1 (en) * 2011-04-07 2012-10-11 Valerica Raicu High speed microscope with two-stage scanning for detection of rarities in samples
JP2013195520A (ja) * 2012-03-16 2013-09-30 Olympus Corp ピクセルクロック発生装置
US20130266980A1 (en) * 2012-04-04 2013-10-10 Memorial Sloan-Kettering Cancer Center System, device, method and computer accessible medium for imaging large areas with microscopic resolution
WO2014175219A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
JP2015005881A (ja) * 2013-06-20 2015-01-08 株式会社リコー 画像処理装置、撮像装置および撮像システム
JP2015521749A (ja) * 2012-06-07 2015-07-30 コンプリート・ゲノミックス・インコーポレーテッド 走査照明用技術
JP2018521360A (ja) * 2015-07-24 2018-08-02 ゼネラル・エレクトリック・カンパニイ 光学顕微鏡における画像処理のためのシステムおよび方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011114500B4 (de) 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
DE102012204128B4 (de) * 2012-03-15 2023-11-16 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013017468B4 (de) * 2013-09-03 2018-07-19 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopievorrichtung
US10003754B2 (en) * 2015-06-18 2018-06-19 Agilent Technologies, Inc. Full field visual-mid-infrared imaging system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000171719A (ja) * 1998-12-09 2000-06-23 Lasertec Corp 撮像装置
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
DE102010013223A1 (de) * 2010-03-29 2011-09-29 Lavision Biotec Gmbh Verfahren und Anordnung zur Mikroskopie
US20120257037A1 (en) * 2011-04-07 2012-10-11 Valerica Raicu High speed microscope with two-stage scanning for detection of rarities in samples
JP2013195520A (ja) * 2012-03-16 2013-09-30 Olympus Corp ピクセルクロック発生装置
US20130266980A1 (en) * 2012-04-04 2013-10-10 Memorial Sloan-Kettering Cancer Center System, device, method and computer accessible medium for imaging large areas with microscopic resolution
JP2015521749A (ja) * 2012-06-07 2015-07-30 コンプリート・ゲノミックス・インコーポレーテッド 走査照明用技術
WO2014175219A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
JP2015005881A (ja) * 2013-06-20 2015-01-08 株式会社リコー 画像処理装置、撮像装置および撮像システム
JP2018521360A (ja) * 2015-07-24 2018-08-02 ゼネラル・エレクトリック・カンパニイ 光学顕微鏡における画像処理のためのシステムおよび方法

Also Published As

Publication number Publication date
EP4296750A2 (en) 2023-12-27
EP3841419A1 (en) 2021-06-30
EP4296750A3 (en) 2024-03-27
CN112654911A (zh) 2021-04-13
CN112654911B (zh) 2024-01-12
WO2020038754A1 (en) 2020-02-27
EP3614190A1 (en) 2020-02-26
JP7334236B2 (ja) 2023-08-28
US20210181489A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US7554725B2 (en) Microscope with a viewing direction perpendicular to the illumination direction
JP6557682B2 (ja) 機能的に統合されたレーザ走査型顕微鏡
CA2849330C (en) Slide scanner with a tilted image
JP7334236B2 (ja) 仮想対物レンズを有する顕微鏡装置
US11016277B2 (en) Method and device for examination of a sample
JP2017167535A (ja) ライトフィールド顕微鏡および照明方法
JP6342842B2 (ja) 走査型顕微鏡システム
JP3634343B2 (ja) デジタル制御走査方法および装置
US20210404964A1 (en) Microscope and method for microscopy
JP2007506146A (ja) 共焦点レーザ走査顕微鏡
CN108885336A (zh) 用于研究样品的方法和显微镜
JP2018521360A (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
JP4426763B2 (ja) 共焦点顕微鏡
CN112986195B (zh) 一种显微层析成像方法与装置
JP7268144B2 (ja) 試料を走査する方法および装置
US9535242B1 (en) Parallel programmable array microscope
JP7330960B2 (ja) 試料を走査するための方法および装置
CN111122568B (zh) 一种高通量光学层析成像方法及成像系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230816

R150 Certificate of patent or registration of utility model

Ref document number: 7334236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150