JP2019040185A - 断面厚を改善した高分解能2d顕微鏡法 - Google Patents

断面厚を改善した高分解能2d顕微鏡法 Download PDF

Info

Publication number
JP2019040185A
JP2019040185A JP2018155090A JP2018155090A JP2019040185A JP 2019040185 A JP2019040185 A JP 2019040185A JP 2018155090 A JP2018155090 A JP 2018155090A JP 2018155090 A JP2018155090 A JP 2018155090A JP 2019040185 A JP2019040185 A JP 2019040185A
Authority
JP
Japan
Prior art keywords
image
sample
illumination
imaging
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018155090A
Other languages
English (en)
Other versions
JP7190843B2 (ja
Inventor
インゴ・クレッペ
Kleppe Ingo
ヤウヘニ・ノヴィカウ
Novikau Yauheni
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2019040185A publication Critical patent/JP2019040185A/ja
Application granted granted Critical
Publication of JP7190843B2 publication Critical patent/JP7190843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】2Dエアリースキャン顕微鏡法での光学断面厚を改善する。【解決手段】試料Pは、ポイントにおいて回折限界照明スポット14を形成するように照明放射線Bで照明され、ポイントは、空間分解表面検出器17上の回折像18に撮像され、表面検出器17は、回折像18の回折構造18aを分解する空間分解能を有し、ポイントは、照明スポット14の直径の半分未満の増分で試料P上で走査され、試料Pの2D像が生成され、2D像は、撮像の分解能限界を超えて増大される分解能を有し、z位置における複数の走査位置に割り当てられた表面検出器17のデータは、暫定深さ分解3D像を提供する三次元逆重畳の実行に使用され、撮像により生成される断面厚さ未満の低断面厚が指定又は予め決定され、暫定深さ分解3D像において、z位置の周囲の低断面厚に位置する部分のみが選択され、z位置の周囲の低断面厚外にある部分は、2D像を生成するために破棄される。【選択図】図1

Description

本発明は、試料の高分解能2D走査顕微鏡の方法に関し、試料は、試料内又は試料上で集束して、ポイントにおいて回折限界照明スポット(diffraction-limited illumination spot)を形成するような照明放射線(illumination radiation)で照明され、ポイントは、空間分解表面検出器(spatially resolving surface detector)上の回折像に回折限界的に撮像され、表面検出器は、回折像の回折構造を分解する空間分解能を有し、撮像点広がり関数(imaging point spread function)も照明点広がり関数(illumination point spread function)も、非対称を生成するように操作されず、ポイントは、照明スポットの直径の半分未満の増分で試料に相対して異なる走査位置に変位され、撮像の焦点面のz位置を固定したまま、複数の走査位置が走査され、表面検出器は読み取られ、試料の2D像が、表面検出器のデータ及び上記データに割り当てられた走査位置から生成され、上記2D像は、撮像の分解能限界を超えて増大される分解能を有する。
本発明は、試料の高分解能2D走査顕微鏡法の顕微鏡に更に関し、顕微鏡は、照明放射線で試料を照明する照明ビーム路(illumination beam path)であって、照明放射線は、試料内又は試料上で集束して、ポイントにおいて回折限界照明スポットを形成し、照明ビーム路は、照明点広がり関数を操作する要素を有さない、照明ビーム路と、空間分解表面検出器上の回折像にポイントを回折限界撮像する撮像ビーム路(imaging beam path)であって、撮像ビーム路は、撮像点広がり関数を操作する要素を有さず、表面検出器は、回折像の回折構造を分解する空間分解能を有する、撮像ビーム路と、照明スポットの直径の半分未満の増分で試料に相対してポイントを異なる走査位置に変位させる走査デバイスであって、走査デバイスは、像の焦点面のz位置を固定したまま、複数の走査位置を走査する、走査デバイスと、表面検出器のデータ及び上記データに割り当てられた走査位置から試料の2D像を生成する評価デバイスであって、上記2D像は、撮像ビーム路の分解能限界を超えて増大される分解能を有する、評価デバイスとを備える。
光顕微鏡法の従来の応用分野は、レーザ走査顕微鏡法(略してLSM)であり、LSMは、共焦点検出構成を使用して、対物レンズの焦点面に位置する試料の平面のみを撮像する。これは、厚さが共焦点ストップのサイズに依存する光学断面を得る。試料の異なる深さでの複数の光学断面を記録することにより、異なる光学断面で構成される試料の三次元像を生成することができる。したがって、レーザ走査顕微鏡法は、厚い標本の調査に適する。
原理上、LSMを含む光学顕微鏡の光学分解能は、物理法則により回折限界(diffraction-limited)される。本明細書での「高分解能」という用語は、回折限界を超えた分解能に使用される。回折限界の克服は、例えば、欧州特許出願公開第2317362号明細書に記載されるエアリースキャン(Airyscan:登録商標)顕微鏡法として知られているものにより達成される。この文献は、文献の図5に示され説明される実施形態において、試料の回折限界照明を表面検出器と組み合わせ、走査デバイスは、照明スポットで照明されるポイントの回折像が表面検出器上にあるように構成される。この構成は「デスキャン(de-scanned)」検出器構成と呼ばれる。これは通常、照明デバイスと照明デバイスとの結合点と試料との間のビーム路を偏向させるスキャナを構成することにより達成される。そのようなスキャナは、照明スポット及び照明スポットで照明されるポイントの撮像の両方に作用し、その結果、スキャナ後の撮像方向におけるビーム路は静的である。そのようなスキャナへの代替は、試料を変位させる可動式試料ステージの使用である。その場合、回折像はまた表面検出器上にある。欧州特許出願公開第2317362号明細書の概念では、表面検出器には、撮像スケールを参照して、回折像のオーバーサンプリングを生じさせ、したがって、回折像の構造を分解できるようにする空間分解能が提供される。
従来の共焦点顕微鏡法では、深さ分解能は共焦点ピンホールストップ(confocal pinhole stop)のサイズと密接にリンクする。このストップは、焦点外光をフィルタリングし、光学断面を生成する。したがって、限りなく薄い光学断面への経路上で、ストップは光を大きく遮蔽するため、光損失は増大する。非常に小さな共焦点ストップの使用は実際に、非常に薄い光学断面を生成するが、信号対雑音比は非常に不良になる。
この問題は、従来の方法(米国特許出願公開第3013467号明細書参照)で使用されるピンホールストップを2Dセンサで置換し、又はストップ平面をそのような検出器上に撮像するエアリースキャン顕微鏡法でも等しく生じる。米国特許第8705172号明細書、独国特許出願公開第102010049627号明細書、米国特許出願第2011/0267688号明細書、及びC. Muellerらによる公開物,Phys.Rev.Lett.,104,198101,2010、A.Yorkら,“Resolution doubling in live, multi−cellular organisms via multifocal Structured Illumination Microscopy”,Nature Methods, Vol.9,2012、De Lucaら,“Re−scan confocal microscopy:scanning twice for better resolution”, Biomedical Optics Express,4(11),pp.2644−2656、S.Roth,“Optical photon reassignment microscopy (OPRA)”,arXiv: 1306.6230、A. Yorkら,Nat.Methods 9,749,2012,I.Gregorら,Proc.SPIE 10071,“Single Molecule Spectroscopy and Superresolution Imaging X” 100710C,24 April 2017,doi:10.1117/12.2255891、A.Jesacherら,“Three−dimensional information from two−dimensional scans:a scanning microscope with postacquistion reforcusing capability”,Optica 2,pp.210−213,2015もこの手法に対処している。後者の公開物はz符号化深さ情報に位相マスクを使用する。
エアリースキャン顕微鏡法では、いわゆる像スタック(image stacks)が記録され、すなわち、複数の2D像が異なる焦点面において捕捉される3D像記録が既知である。次に、これらの像スタックを3D逆重畳において使用して、深さ分解像を生成することができる。像スタックは、点広がり関数の標的改変に起因して、普通なら存在する不明確さ、すなわち、デフォーカスポイントが焦点面の上にあるか、それとも下にあるかが事前に分からないことが除去される場合、省くことができる。z改変点広がり関数を用いて、この不明確さはなくなり、3D再構築において、1つの2D像から三次元像を再構築することが可能である。
一般に、三次元像改善策がある程度、共焦点ストップサイズと光学断面厚とが結びつくという導入部に記載される問題に対処する。したがって、三次元像がまず生成され、次に、所望の切断面が三次元像から選択される。この欠点は、三次元像スタックが上手く機能しなければならないこと又は操作される点広がり関数を使用しなければならないことである。したがって、本発明は、これらの2つの要件のいずれもなく、2Dエアリースキャン顕微鏡法での光学断面厚を改善するという目的に基づく。
本発明は請求項1〜5に定義される。
本発明は、エアリースキャン原理に従って試料の高分解能走査顕微鏡法の方法を提供する。試料は照明放射線で照明される。このステップにおいて、照明放射線は、試料内又は試料上のポイントにおいて回折限界照明スポットを形成するように集束される。このポイントは、表面検出器上の回折像に回折限界的に撮像される。表面検出器はピクセルを有し、したがって、回折像の回折構造を分解する空間分解能を有する。このポイントは、試料に相対して異なる走査位置に変位される。連続した走査位置間の増分は、照明スポットの直径未満であり、試料の各点は、異なる位置にある照明スポット及び回折像に数回、含まれる。表面検出器は読み取られる。試料の像が、取得されたデータ及び上記データに割り当てられた走査位置から生成される。像は、撮像の分解能限界を超えて増大したエアリースキャン原理に従った分解能を有する。したがって、回折限界が克服される。純粋な2D走査が実行される。
深さ分解能を改善するために、回折像のサイズ(共焦点ストップの直径に対応する)と光学断面厚との従来の相互依存性が再び生じるため、2D像は、表面検出器のデータから直接生成されない。その代わり、複数の走査位置に関する表面検出器のデータからの三次元再構築がまず実行される。純粋な2D走査に起因して、データは焦点面の固定されたz位置から生じる。三次元再構築は既知であるが、従来は、上述した不明確さを回避するために、撮像及び/又は照明ビーム路における操作要素により特定の程度標的されて非対称になる点広がり関数においてのみ使用されてきた。そのような要素は使用されない。このため、1つの焦点面位置が操作なしで使用されたことにより、3D再構築は暫定の深さ分解3D像のみを提供する。不明確さの問題は、照明点広がり関数及び撮像点広がり関数の両方が標的されて操作されず、したがって、光軸に対して実質的に対称である(不完全な構成要素に起因して、不可避の残留非対称性がなお生じ得る。すなわち問題なのは、非標的PSF操作が行われることである)ため、存在する。この不明確さは、意図的に受け入れられる。続けて、低断面厚が指定され、又は低断面厚は予め決定されている。低断面厚は、光学撮像から生じる断面厚よりも低い。暫定深さ分解3D像から、焦点面の固定されたz位置周囲の低断面厚内に位置する部分のみが選択される。低断面厚外に位置する部分は破棄される。これらは、上述した不明確さの問題を受ける部分である。
点広がり関数は変更されないため、実質的に対称である。この対称性は一般に、焦点面に対する対称性である。一般に、点広がり関数は、光軸に対しても対称であり、特に、回転対称である。大半の顕微鏡では、点広がり関数は砂時計形に対応し、くびれた部分は焦点面にある。撮像要素の実際の実施に起因して生じるいかなる残留非対称性も、1つの像からの三次元再構築が特異性を有する深さ分解像を生成するように標的される変更に繋がらない。既知の再構築アルゴリズムが、点広がり関数を変更せずに、焦点面の一定位置で得られた像データからの3D再構築に使用される。これらのアルゴリズムは、点広がり関数を標的操作する顕微鏡の深さ分解3D像の生成に向けて開発された。それにより、深さ分解される3D像が生成されるが、不明確さに起因して、この像は完全な3D像ではなく、アーチファクトがない3D像ではない。このため、本明細書では、同じ再構築アルゴリズムが、点広がり関数が標的され、かつ広範囲で操作される場合に提供するアーチファクトのない深さ分解3D像とこの像とを区別するために、この像は暫定深さ分解3D像と呼ばれる。
撮像及び照明のビーム路は、例えば、Jesacherらによる公開物において説明されるような既知の深さ分解手法で必要であり使用される点広がり関数を操作し、標的される確定可能な程度の非対称性をもたらす要素を有さない。特に、ビーム路は、点広がり関数を非対称に改変し、標的されて深さに依存する非点収差レンズ又は位相マスクを含まない。
実施形態では、三次元再構築は、複数の離散した切断面において3D像を生成する。このため、複数の離散した切断面を含むような暫定深さ分解3D像を生成する改良が好ましい。次に、焦点面の固定されたz位置に対応する切断面が、選択部分として選ばれる。
照明放射線は、蛍光放射線(fluorescence radiation)の放射を励起することができ、これは、信号対雑音比を改善し、全体的にアルゴリズムを補強する。特に、低断面厚を非常に薄くすることができる。
本方法と同様に提供される顕微鏡は、方法ステップを実行し、方法ステップに適するように実施される評価デバイスを有する。本方法と同様に、対応する顕微鏡が提供され、本顕微鏡は、上記特徴で試料を照明する照明ビーム路と、ピクセルを有する表面検出器上の回折像にポイントの回折限界撮像を行う撮像ビーム路とを備える。既に述べたように、照明ビーム路及び撮像ビーム路は、点広がり関数を非対称にする操作要素を含まず、特に、非点収差レンズ又は位相マスクは提供されない。本明細書では、操作という用語は、特に3D再構築において、焦点面の下にある層と焦点面の上にある層との間での不明確さを回避する非対称性を生み出す点広がり関数の標的影響に関連する。したがって、操作とは、焦点面の下の層が、焦点面の上にある層から明確に異なる点広がり関数を有することを意味する。そのような操作は通常、ビーム路での位相マスク及び/又は非点収差要素の使用を必要とする。
以下の文章において、顕微鏡についての方法の態様を説明する場合、上記態様は、対応する方法ステップを実行するように構成される評価デバイスにも等しく関連する。評価デバイスは、対応するソフトウェア又は対応するプログラムコードを用いて実施されるコンピュータであり得る。逆に、顕微鏡及びその動作に基づいて説明される態様は、顕微鏡の方法に等しく関連する。
上記特徴及び以下にこれから説明する特徴が、本発明の範囲から逸脱せずに、指定された組み合わせのみならず、他の組み合わせ又はそれら自体でも使用可能なことは言うまでもない。
本発明について、本発明にとって重要な特徴を同様に開示する添付図面を参照して例示的な実施形態に基づいて以下により詳細に説明する。これらの例示的な実施形態は単に例示として機能し、限定として解釈されるべきではない。例として、複数の要素又は構成要素を有する例示的な実施形態の説明は、これら全ての要素又は構成要素が実施目的で必要とされる旨で解釈されるべきではない。むしろ、他の例示的な実施形態は、代替の要素及び構成要素、より少数の要素若しくは構成要素、又は追加の要素若しくは構成要素を含むこともできる。異なる例示的な実施形態の要素又は構成要素は、別段のことが示される場合を除き、互いと組み合わせることができる。例示的な実施形態の1つで説明された変更及び発展は、他の例示的な実施形態にも適用し得る。繰り返しを避けるために、様々な図での同じ要素又は対応する要素は、同じ参照符号で示され、何度も説明されない。
図1は、高分解能顕微鏡法の顕微鏡の概略図を示す。 図2aは、図1の顕微鏡の検出器のピクセルの配置の概略図を示す。 図2aは、図1の顕微鏡の検出器のピクセルの配置の概略図を示す。 図3は、顕微鏡法に関する信号伝搬チャートを示す。 図4は、高分解能共焦点顕微鏡のデータ処理の例示的な実施形態を示す。
図1は、例えば、欧州特許出願公開第2317362号明細書から既知のようないわゆるエアリースキャンの原理により、高分解能、すなわち、回折限界を超えて増大された分解能を提供する共焦点顕微鏡20を概略的に示す。共焦点顕微鏡20は、照明スポット14で試料Pを照明する光源6を有する。照明光Bは、ビーム整形手段7、ミラー8を介してビームスプリッタ9に導波される。ビームスプリッタ9は、照明光Bをできるだけ多く反射し、スキャナ10に導波するように実施される。照明光Bは、更なるビーム整形光学ユニット11及び12によりスキャナ10から対物レンズ13に導波される。対物レンズ13は、照明光Bを試料Pの照明スポット14に集束させる。
照明スポット14において試料により生成される試料光Dは、対物レンズ13により集光され、照明光Bとは逆の経路でビームスプリッタ9に導波される。ビームスプリッタ9は、試料光Dのできるだけ多くの部分を伝達するように実施される。ビームスプリッタ9により伝達される試料光Dは、更なるフィルタ15及び更なるビーム整形光学ユニット16を介して検出器17に渡される。検出器17は試料光Dを検出し、そこから電気信号を生成し、伝導体23、24、25を介して制御・評価デバイスC、例えば、コンピュータに電気信号を渡す。このようにして、回折構造18aが示すように、回折限界である回折像18が記録される。
試料Pの像を得るために、照明スポット14は、スキャナ10により試料Pにわたり段階的に移動する。そうして得られる段階的試料信号から、制御・評価デバイスCは、例えば、モニタを使用して提示することができる3D像を合成する。
ここで、スキャナ10は、横方向に、すなわち、対物レンズの光軸に直交する平面に広がる二次元像を記録できるようにする。
既に述べたように、照明ビーム路及び撮像ビーム路は、標的されて点広がり関数非対称性を作る操作要素を含まず、特に、非点収差レンズ又は位相マスクは提供されない。本明細書では、操作という用語は、特に3D再構築において、焦点面の下にある層と焦点面の上にある層との間での不明確さを回避する非対称性を生み出す点広がり関数の標的影響に関連する。したがって、標的操作とは、焦点面の下の層が、焦点面の上にある層から明確に異なる点広がり関数を有することを意味する。そのような操作は通常、ビーム路での位相マスク及び/又は非点収差要素の使用を必要とする。
図2a及び図2bは、共焦点顕微鏡の検出器を概略的に示す。図2aは、1つの感度表面30を有する従来の検出器を示す。高分解能を達成するために、共焦点顕微鏡20の検出器17は、図2bのように複数の検出要素又はピクセル31を有する。要素は付番され、例での構成は32個のピクセルを有する。
ピクセル31のサイズは、検出器17で生成される回折像18よりもはるかに小さいように設計される。同時に、ピクセル31の数、ひいては検出器17の全表面は、回折像18の試料光Dの大部分を検出することができるように設計される。
比較のため、図2aは、典型的な分解能の共焦点顕微鏡で使用されるように、1つのみの要素30を有する検出器を示す。典型的な分解能という用語は、本明細書では、達成される分解能が少なくともアッベ限界(Abbe limit)に対応することを意味するものと理解されるべきである。これとは対照的に、分解能が増大された共焦点顕微鏡20では、照明及び検出は、理論上、2倍の分解能を達成することができるように一緒に機能する。実際には、回折限界に近い構造は非常に不良なコントラストでのみ伝達可能であるため、分解能の増大はいくらか低くなる。現実では、アッベ限界の最高で1.7倍の分解能を達成することができる。
各走査点
Figure 2019040185
で、高分解能共焦点顕微鏡20の検出器17は、検出器要素31の数に対応する多くの検出信号
Figure 2019040185
を捕捉する。
Figure 2019040185
は横方向試料位置を示し、zは軸方向試料位置を示し、インデックスhは検出器要素(ピクセル)を示す。以下、説明は32個のピクセルに基づくが、異なる数のピクセルを使用することも可能である。
検出器要素31のそれぞれは、試料Pから生の像信号(raw image signal)を捕捉し、信号
Figure 2019040185
を生成する。生の像信号は互いと異なり、差異は、各検出器要素により検出される試料領域に相対する照明光スポットの個々の横方向距離に起因する。生の像信号は、「実際」の試料像
Figure 2019040185
と各検出要素hの点広がり関数(PSF)
Figure 2019040185
との重畳により数学的に記述される。
Figure 2019040185
評価ユニットCの機能は、試料の原本
Figure 2019040185
に可能な限り正確に対応する像
Figure 2019040185
の全て
Figure 2019040185
から再構築することである。逆重畳(DCV)及びそうして逆重畳された生の像信号の続く結合をこのために使用し、逆重畳及び結合のプロセスは、プロセス技術的に互いと統合することができる。
図3は、信号伝搬チャートにおける全てのステップを示す。開始点は
Figure 2019040185
及び生の像信号
Figure 2019040185
である。光学系の特性から、PSFは既知である。PSFは、システムパラメータから計算することができるか、又は一度計測して記憶することができる。信号は線140、141を介して評価ユニット50に渡され、評価ユニット50は対応して、生の全ての像信号を逆重畳し、一緒に結合し、試料の原本
Figure 2019040185
に可能な限り正確に対応する試料の像
Figure 2019040185
を出力する。
図3及び他の全ての信号伝搬チャートは、矢印140、141、151の厚さにより伝達されるデータ量を示す。32個の生の像信号
Figure 2019040185
及び32個のPSF
Figure 2019040185
がある。評価中に生成されるのは、試料の像
Figure 2019040185
であり、この像のデータ量は、生の全ての像信号のデータ量の1/32である。これは細い矢印151で象徴される。同様に、矢印に示されるのは、1つの像に対するデータ量の係数である。すなわち、生の像信号及びPSFでは//32であり、試料の像では//1である。
破線60は、生の像信号のデータを送信しなければならない領域(region)間で共焦点顕微鏡20全体のドメイン(domain)を分ける。ここでは、ドメインLSM(レーザ走査顕微鏡)は、共焦点顕微鏡のハードウェア依存ドメイン、すなわち、ドメインPCへのデータ送信を可能にする光学系、構造、及び電子機器を含む。領域PCは、制御・評価デバイスC、ひいては共焦点顕微鏡20の制御、データの更なる処理及び表現に必要な全てを記述する。このドメインのコアは通常、パーソナルコンピュータCである。具体的な名称では、生の全ての像信号のデータはLSMからPCに送信されなければならない。このために必要なのは、強力なインターフェースであり、換言すれば、データ送信の速度は特定のインターフェースにより制限され得る。
図4は、高分解能共焦点顕微鏡20のデータ処理の実施形態を示す。ここで、評価ユニット50aは、例えば、ウィーナーフィルタリング(Wiener filtering)として知られるものを実行する。このフィルタリングでは、空間座標で表現される生の像信号
Figure 2019040185
はまず、フーリエ変換を受け、それにより、生の像信号はここで、空間周波数座標
Figure 2019040185
で利用可能になる。同じことがPSFでも行われる。フーリエ領域に変換されたPSF
Figure 2019040185
は、物体伝達関数OTFと呼ばれる。
50aにおける逆重畳式を理解するには、2つの様相が重要である。
(1)生の像信号は、既に上で示したように、PSF系で重畳された試料に対応する。
(2)空間領域での重畳は、フーリエ領域での乗算に対応する。すなわち、生の像信号は、フーリエ領域において試料とOTFとの積として表すことができる。
Figure 2019040185
Figure 2019040185
の式が逆重畳式に挿入される場合、その結果は、
Figure 2019040185
であり、
Figure 2019040185
は共役複素位相を有するOTFを示し、(元の)OTFとの積は絶対二乗値を生成する。
wは正の実数であり、本明細書ではウィーナーパラメータとして示される。ウィーナーパラメータが
Figure 2019040185
と比較して小さい場合、分数は略1になり、
Figure 2019040185
は試料の原本
Figure 2019040185
に略対応する。他方、小さすぎないwは、
Figure 2019040185
が小さい場合、位置
Figure 2019040185
における分数が発散しないことを保証する。そのような発散は、必然的に存在し、生の像信号
Figure 2019040185
において本明細書では示されないノイズを計測できないほど増大させ、生成される像
Figure 2019040185
を使用不可能にする。
像を提示することができるように、空間周波数座標において利用可能な像
Figure 2019040185
は、逆フーリエ変換により空間領域に再び変換しなければならない。
検出された信号
Figure 2019040185
は、検出PSF
Figure 2019040185
で重畳された励起PSF
Figure 2019040185
と物体
Figure 2019040185
との積としてモデリングすることができる。
Figure 2019040185
式中、
Figure 2019040185
は励起PSFの位置であり、
Figure 2019040185
は検出PSFの位置(カメラピクセル又はファイバ要素)である。
2Dのケース(p=0,z=0)から得られるのは三次元式:
Figure 2019040185
である。
及びpでの(2)のフーリエ変換は
Figure 2019040185
を生成する。
(3)における
Figure 2019040185

Figure 2019040185
に代入すると、
Figure 2019040185
が与えられる。
標記を簡易化するために、x及びyがピクセルiの位置に対応すると仮定する。
Figure 2019040185
(5)におけるzにわたる積分を離散化すると、
Figure 2019040185
が生成される。
式(6)は、物体空間におけるz次元を測定データにおけるx−y次元に変換する。変換は全体的に、「共焦点」OTF、
Figure 2019040185
により定義される。物体空間におけるz次元は、例えば、フーリエ領域における線形回帰により再構築することができる。
操作されないことに起因して、特に対称点広がり関数では、この三次元再構築後でのみ、焦点面に一意の解が利用可能である。したがって、この平面を問題なく選ぶことができる。焦点外平面、すなわち、所定の断面厚外であり、特に焦点面の上及び下にある平面は破棄される。一意に割り当てることがいずれの場合でも可能であるわけではない。しかしながら、本顕微鏡法は2D像を生成することができるため、これは問題ではない。フーリエ領域における線形回帰分析後にこのために選ばれるのは、取得されたzスタックの中心像である。これは以下の式に対応する。
Figure 2019040185
本発明は、試料の高分解能2D走査顕微鏡の方法及び顕微鏡に関する。
試料は、試料内又は試料上で集束して、ポイントにおいて回折限界照明スポット(diffraction-limited illumination spot)を形成するような照明放射線(illumination radiation)で照明される。ポイントは、空間分解表面検出器(spatially resolving surface detector)上の回折像に回折限界的に撮像される。表面検出器は、回折像の回折構造を分解する空間分解能を有し、撮像点広がり関数(imaging point spread function)も照明点広がり関数(illumination point spread function)も、非対称を生成するように操作されない。ポイントは、照明スポットの直径の半分未満の走査ステップ増分で試料に相対して異なる走査位置に変位される。したがって、撮像の焦点面のz位置を固定したまま、複数の走査位置が走査される。表面検出器は読み取られ、試料の2D像が、表面検出器のデータ及び上記データに割り当てられた走査位置から生成される。この2D像は、撮像の分解能限界を超えて増大される分解能を有する。
顕微鏡は、照明放射線で試料を照明する照明ビーム路(illumination beam path)を備え、照明ビーム路は、照明点広がり関数を操作する要素を有さない。空間分解表面検出器上の回折像にポイントを回折限界撮像する撮像ビーム路は、撮像点広がり関数を操作する要素を有さない。表面検出器は、回折像の回折構造を分解する空間分解能を有する。照明スポットの直径の半分未満の増分で試料に相対してポイントを異なる走査位置に変位させる走査デバイスは、像の焦点面のz位置を固定したまま、複数の走査位置を走査する。評価デバイスは、表面検出器のデータ及び上記データに割り当てられた走査位置から試料の2D像を生成する。2D像は、撮像ビーム路の分解能限界を超えて増大される分解能を有する。
一般に、三次元像改善策がある程度、共焦点ストップサイズと光学断面厚とが結びつくという導入部に記載される問題に対処する。したがって、三次元像がまず生成され、次に、所望の切断面が三次元像から選択される。この欠点は、三次元像スタックが上手く機能しなければならないこと又は操作される点広がり関数を使用しなければならないことである。したがって、本発明の目的は、これらの2つの要件のいずれもなく、2Dエアリースキャン顕微鏡法での光学断面厚を改善することである。
実施形態では、三次元再構築は、複数の離散した切断面において3D像を生成する。このため、複数の離散した切断面を含むような暫定深さ分解3D像を生成する改良が好ましい。次に、焦点面の固定されたz位置に対応する切断面が、選択部分として選ばれる。
実施形態では、照明放射線は、蛍光放射線(fluorescence radiation)の放射を励起する。これは、信号対雑音比を改善し、全体的にアルゴリズムを補強する。そして特に、低断面厚を非常に薄くすることができる。

Claims (8)

  1. −試料(P)は、照明放射線(B)が前記試料(P)内又は前記試料(P)上で集束して、ポイントにおいて回折限界照明スポット(14)を形成するように照明放射線で照明され、
    −前記ポイントは、空間分解表面検出器(17)上の回折像(18)に回折限界的に撮像され、前記表面検出器(17)は、前記回折像(18)の回折構造(18a)を分解する空間分解能を有し、
    −撮像点広がり関数も照明点広がり関数も、非対称を生成するように操作されず、
    −前記ポイントは、前記照明スポット(14)の直径の半分未満の増分で前記試料(P)に相対して異なる走査位置に変位され、前記撮像の焦点面のz位置を固定したまま、複数の走査位置が走査され、
    −前記表面検出器(17)は読み取られ、前記試料(P)の2D像が、前記表面検出器(17)のデータ及び前記データに割り当てられた前記走査位置から生成され、前記2D像は、撮像の分解能限界を超えて増大される分解能を有する、前記試料(P)の高分解能2D走査顕微鏡方法において、
    −前記焦点面の前記固定されたz位置における前記複数の走査位置に割り当てられた前記表面検出器(17)の前記データは、暫定深さ分解3D像を提供する三次元逆重畳の実行に使用され、
    −前記撮像により生成される断面厚さ未満の低断面厚が指定又は予め決定され、
    −前記暫定深さ分解3D像において、前記焦点面の前記固定されたz位置の周囲の前記低断面厚に位置する部分のみが選択され、前記焦点面の前記固定されたz位置の周囲の前記低断面厚外にある部分は、前記2D像を生成するために破棄される
    ことを特徴とする方法。
  2. 前記暫定深さ分解3D像の前記三次元逆重畳は、複数の離散した切断面を含むように生成され、選択された部分として、前記焦点面の前記固定されたz位置に割り当てられ、又は最も近い前記切断面が使用されることを特徴とする請求項1に記載の方法。
  3. 前記撮像点広がり関数及び前記照明点広がり関数は、光軸に対して対称である、請求項1又は2に記載の方法。
  4. 前記試料(P)は前記照明放射線(B)により励起して、蛍光放射線を放射する、請求項1、2、又は3に記載の方法。
  5. −照明放射線(B)で試料(P)を照明する照明ビーム路であって、前記照明放射線は、前記試料(P)内又は前記試料(P)上で集束して、ポイントにおいて回折限界照明スポット(14)を形成し、前記照明ビーム路は、照明点広がり関数を操作する要素を有さない、照明ビーム路と、
    −空間分解表面検出器(17)上の回折像(18)に前記ポイントを回折限界撮像する撮像ビーム路であって、前記撮像ビーム路は、撮像点広がり関数を操作する要素を有さず、前記表面検出器(17)は、前記回折像(18)の回折構造(18a)を分解する空間分解能を有する、撮像ビーム路と、
    −前記照明スポット(14)の直径の半分未満の増分で前記試料(P)に相対して前記ポイントを異なる走査位置に変位させる走査デバイス(10)であって、前記走査デバイスは、前記像の焦点面のz位置を固定したまま、複数の走査位置を走査する、走査デバイス(10)と、
    −前記表面検出器(17)のデータ及び前記データに割り当てられた前記走査位置から前記試料(P)の2D像を生成する評価デバイス(C)であって、前記2D像は、前記撮像ビーム路の分解能限界を超えて増大される分解能を有する、評価デバイス(C)と
    を備える、前記試料(P)の高分解能2D走査顕微鏡法の顕微鏡において、
    −前記評価デバイス(C)は、前記表面検出器(17)の前記データ及び前記焦点面の前記固定されたz位置における前記複数の割り当てられた走査位置の三次元逆重畳を実行し、暫定深さ分解3D像を生成し、
    −前記評価デバイス(C)は低断面厚を指定し、又は低断面厚は、前記評価デバイスに対して予め決定され、前記低断面厚は、前記撮像により生成される断面厚未満であり、
    −前記評価デバイス(C)は、前記暫定深さ分解3D像において、前記焦点面の前記固定されたz位置の周囲の前記低断面厚に位置する部分のみを選択し、前記2D像を生成するために、前記焦点面の前記固定されたz位置の周囲の前記低断面厚外にある部分を破棄する
    ことを特徴とする顕微鏡。
  6. 前記評価デバイス(C)は、複数の離散した切断面を含むように前記三次元逆重畳において前記暫定深さ分解3D像を生成し、選択された部分として、前記焦点面の前記固定されたz位置に割り当てられ、又は最も近い前記切断面を使用する、請求項5に記載の顕微鏡。
  7. 前記撮像点広がり関数及び前記照明点広がり関数は、光軸に対して対称である、請求項5又は6に記載の顕微鏡。
  8. 前記照明放射ビームは、前記試料(P)を励起させて、蛍光放射線を放射させる、請求項5、6又は7に記載の顕微鏡。
JP2018155090A 2017-08-25 2018-08-22 断面厚を改善した高分解能2d顕微鏡法 Active JP7190843B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017119531.9 2017-08-25
DE102017119531.9A DE102017119531A1 (de) 2017-08-25 2017-08-25 Hochauflösende 2D-Mikroskopie mit verbesserter Schnittdicke

Publications (2)

Publication Number Publication Date
JP2019040185A true JP2019040185A (ja) 2019-03-14
JP7190843B2 JP7190843B2 (ja) 2022-12-16

Family

ID=63294071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018155090A Active JP7190843B2 (ja) 2017-08-25 2018-08-22 断面厚を改善した高分解能2d顕微鏡法

Country Status (5)

Country Link
US (1) US10996452B2 (ja)
EP (1) EP3447559B1 (ja)
JP (1) JP7190843B2 (ja)
CN (1) CN109425978B (ja)
DE (1) DE102017119531A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019100184A1 (de) 2019-01-07 2020-07-09 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie
DE102019007066A1 (de) * 2019-10-11 2021-04-15 Abberior Instruments Gmbh Verfahren und Vorrichtung zur Aberrationskorrektur in der Fluoreszenzmikroskopie
WO2021081128A1 (en) 2019-10-21 2021-04-29 Illumina, Inc. Systems and methods for structured illumination microscopy
DE102020122605A1 (de) 2020-08-28 2022-03-03 Abberior Instruments Gmbh Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe
CN115598822B (zh) * 2022-12-15 2023-03-10 达州爱迦飞诗特科技有限公司 智能多维度显微图像采集与处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228053A1 (en) * 2002-05-03 2003-12-11 Creatv Microtech, Inc. Apparatus and method for three-dimensional image reconstruction
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡
DE102015111702A1 (de) * 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3013467A (en) 1957-11-07 1961-12-19 Minsky Marvin Microscopy apparatus
US6166853A (en) * 1997-01-09 2000-12-26 The University Of Connecticut Method and apparatus for three-dimensional deconvolution of optical microscope images
US20090219607A1 (en) * 2008-01-17 2009-09-03 Baylor College Of Medicine Method and apparatus for enhanced resolution microscopy of living biological nanostructures
EP2557584A1 (en) * 2011-08-10 2013-02-13 Fei Company Charged-particle microscopy imaging method
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015933A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013218795A1 (de) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Laserscanningmikroskop und Verfahren zur Korrektur von Abbildungsfehlern insbesondere in der hochauflösenden Scanning-Mikroskopie
CN105319196B (zh) * 2015-11-30 2019-02-05 哈尔滨工业大学 一种超分辨结构探测共焦荧光成像装置及其成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228053A1 (en) * 2002-05-03 2003-12-11 Creatv Microtech, Inc. Apparatus and method for three-dimensional image reconstruction
JP2011095745A (ja) * 2009-10-28 2011-05-12 Carl Zeiss Microimaging Gmbh 分解能の向上した顕微鏡法および顕微鏡
DE102015111702A1 (de) * 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe

Also Published As

Publication number Publication date
CN109425978B (zh) 2022-05-24
CN109425978A (zh) 2019-03-05
DE102017119531A1 (de) 2019-02-28
EP3447559B1 (de) 2020-04-08
US10996452B2 (en) 2021-05-04
US20190064495A1 (en) 2019-02-28
EP3447559A1 (de) 2019-02-27
JP7190843B2 (ja) 2022-12-16

Similar Documents

Publication Publication Date Title
JP7190843B2 (ja) 断面厚を改善した高分解能2d顕微鏡法
US9892812B2 (en) Fourier ptychographic x-ray imaging systems, devices, and methods
Vyas et al. Fiber bundle shifting endomicroscopy for high-resolution imaging
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
Murray Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination
JP2017529559A (ja) 少なくとも2つの波長範囲を区別する高解像度走査型顕微鏡検査法
JP2002531840A (ja) コンピュータを使用した適応画像形成装置及び方法
JP7399669B2 (ja) 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置
JP2007516760A (ja) イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
US11307397B2 (en) High-resolution confocal microscope
Meng et al. Fast two-snapshot structured illumination for temporal focusing microscopy with enhanced axial resolution
WO2016049010A1 (en) Resolution enhancement for line scanning excitation microscopy systems and methods
JP2022046447A (ja) 構造化方式で照明される顕微鏡画像の超高解像度評価方法及び構造化照明顕微鏡
US20200301121A1 (en) Method for high-resolution scanning microscopy
EP3830628B1 (en) Device and process for capturing microscopic plenoptic images with turbulence attenuation
WO2013176549A1 (en) Optical apparatus for multiple points of view three-dimensional microscopy and method
US11209636B2 (en) High-resolution scanning microscopy
Hsiao et al. Telecentric design for digital‐scanning‐based HiLo optical sectioning endomicroscopy with an electrically tunable lens
KR101088117B1 (ko) 이미지 센서를 이용한 고속 이미징 장치 및 방법
JP2022501639A (ja) ライン焦点を生成するように構成された共焦点レーザー走査顕微鏡
CN113710142A (zh) 超紧凑型折叠光束路径共焦内窥显微镜
CN212255862U (zh) 一种景深扩展显微成像三维重建装置
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
Zhou et al. Confocal structured illumination microscopy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221206

R150 Certificate of patent or registration of utility model

Ref document number: 7190843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150