JP2020536276A - 高分解能共焦点顕微鏡 - Google Patents

高分解能共焦点顕微鏡 Download PDF

Info

Publication number
JP2020536276A
JP2020536276A JP2020518535A JP2020518535A JP2020536276A JP 2020536276 A JP2020536276 A JP 2020536276A JP 2020518535 A JP2020518535 A JP 2020518535A JP 2020518535 A JP2020518535 A JP 2020518535A JP 2020536276 A JP2020536276 A JP 2020536276A
Authority
JP
Japan
Prior art keywords
image
sample
group
diffraction
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020518535A
Other languages
English (en)
Inventor
バーテ、ヴォルフガング
カリニン、シュタニスラフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2020536276A publication Critical patent/JP2020536276A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本発明は、標本(P)の高分解能走査顕微鏡検査の方法に関し、標本(P)は照明放射で、照明放射(B)が標本の中又は表面のある点における回折限界照明スポット(14)に集束されるように照明され、この点は、ピクセル(31)を有するフラットパネル検出器(17)上に、回折像(18)内の回折限界で投射され、フラットパネル検出器(17)は、そのピクセル(31)により、回折像(18)の回折構造(18a)を分解する空間分解能を有し、この点は、異なる走査位置へと、照明スポット(14)の直径より小さいインクリメントで標本(P)に関してシフトされ、フラットパネル検出器(17)が読み取られ、フラットパネル検出器(17)のデータから、及びこれらのデータに割り当てられた走査位置から標本(P)の3D画像が生成され、前記3D画像は、投射のための分解限界より高い分解能を有し、フラットパネル検出器(17)のピクセル(31)は、光軸上にある中央の群(32)と、中央の群(32)をリング状に取り囲む別の群(33)を有する群(32、33)に分割され、各群(32、33)について前処理された原画像が計算され、前処理原画像が3次元的に展開されて、標本(P)の画像が生成される。

Description

本発明は、試料の高分解能走査顕微鏡検査の方法に関し、試料は照明放射で、照明放射が試料の中又は表面のある点に集束されて回折限界照明スポットを形成するような方法で照明され、この点はピクセルを有する2D検出器上に、回折像への回折限界(in diffraction−limited fashion into a diffraction image)で結像され、そのピクセルにより2D検出器は回折像の回折構造を分解する空間分解能を有し、この点は、異なる走査位置へと、照明スポットの直径より小さいインクリメントで試料に関して移動され、2D検出器が読み取られ、試料の3D画像が2D検出器のデータから、及び前記データに割り当てられた走査位置から生成され、前記画像は、画像生成のための分解限界より高くされた分解能を有する。
本発明はさらに、試料の高分解能走査顕微鏡検査のための顕微鏡に関し、これは、試料を照明放射で、照明放射が試料の中又は表面のある点に集束されて回折限界照明スポットを形成するような方法で照明する照明ビーム経路と、ピクセルを有する2D検出器上に、この点を回折像への回折限界で結像する結像ビーム経路であって、そのピクセルにより2D検出器は回折像の回折構造を分解する空間分解能を有するような結像ビーム経路と、点を異なる走査位置へと、照明スポットの直径より小さいインクリメントで試料に関して移動させる走査装置と、2D検出器のデータから、及び前記データに割り当てられた走査位置から試料の3D画像を生成する評価装置であって、画像は、画像の分解限界より高くされた分解能を有するような評価装置と、を含む。
光学顕微鏡の典型的な実装例はレーザ走査顕微鏡(略してLSMともいう)であり、これは共焦点検出装置を使って、試料(sample)のうち、対物レンズの焦点面内にある平面だけを画像化する。光学断面が得られ、その厚さは共焦点ピンホールの大きさに依存する。試料の異なる深さでの複数の光学断面を得ることにより、試料の3次元画像の生成が可能となり、これはその後異なる光学断面で構成される。したがって、レーザ走査顕微鏡は厚い標本(specimen)を検査するのに適している。
原理上、LSMのそれを含む光学顕微鏡の光学分解能は、物理的法則により回折限界を有する。ここで、「高分解能」という用語は、回折限界を超える分解能について使用される。回折限界の克服は、エアリスキャン顕微鏡法として知られるものにより達成され、これは例えば(特許文献1)に記載されている。この文献では、その図5に示され、説明されている実施形態の中で、試料の回折限界照明と2D検出器とが組み合わされており、走査装置は、照明スポットで照明された点の回折像が2D検出器上に載るように構成される。この配置は、いわゆる「デスキャン(de−scanned)」検出器配置と呼ばれる。これは典型的に、ビーム経路を偏向させるスキャナを、試料と、照明装置と結像装置の結合点(combination point)との間に設置することによって実現される。このようなスキャナは、照明スポットと、照明スポットで照明された点の結像との両方に作用し、その結果、スキャナの下流にある結像方向のビーム経路が静的となる。このようなスキャナの代替案は、試料を移動させる可動式試料ステージの使用である。それでも、回折像は2D検出器上で静的である。(特許文献1)のコンセプトによれば、2D検出器には、回折像の構造の分解を可能にする空間分解能が提供される。
欧州特許出願公開第2317362号明細書
本発明の目的は、画像取得が加速されるように、この種の方法及び顕微鏡を開発することである。
本発明は、特許請求項1及び6において定義される。
本発明は、エアリスキャンの原理による試料の高分解能走査顕微鏡検査の方法を提供する。試料は照明放射で照明される。プロセス中、照明放射は試料の中又は表面にある点に集束されて回折限界照明スポットを形成する。この点は、2D検出器上に、回折像への回折限界で結像される。2D検出器はピクセルを有し、その結果、回折像の回折構造を分解する空間分解能を有する。点は、異なる走査位置へと、試料に関して移動される。連続する走査位置間のインクリメントはここで、照明スポットの直径より小さく、それによって試料の各点は、複数回(multiple times)、異なる位置の照明スポットと回折像の一部となる。2D検出器が読み取られる。プロセス中に得られたデータから、及び前記データに割り当てられた走査位置から、試料の画像が生成される。画像は、結像の分解限界より高くされた、エアリスキャン原理による分解能を有する。その結果、回折限界が克服される。
データは、プロセスをスピードアップするために2段階で評価される。2D検出器のデータはピクセルのデータ、すなわちピクセルの各々の信号に対応する。このために、2D検出器のピクセルは少なくとも2つの群に分割される。群は、光軸上にある中央の群を含む。それゆえ、中央の群は中央区域をカバーする。他の群は、中央の群をリング状に取り囲む。このリング形の周囲の群に割り当てられた区域はそれゆえ、中央の群の区域をリング状に取り囲む。各群について、前処理された原画像が計算される。前処理原画像についてまとめてデコンボリューションが行われて(are deconvoluted)、試料の高分解能画像が生成される。評価プロセスはしたがって、方法を加速させるために2段階で行われ、まず、それぞれの群又は、2D検出器の、それに割り当てられた区域について個別に行われ、次に群レベルで行われる。これにより、画像評価が加速される。
本方法と同様のものとして、対応する顕微鏡が提供され、これは、試料を前記特性で照明する照明ビーム経路と、点を、2D検出器上にそのピクセルで、回折像への回折限界で結像する結像ビーム経路とを含む。2D検出器のデータとこのデータに割り当てられた走査位置から試料の画像を生成する評価装置はさらに、2D検出器のピクセルを上述の群に分割して、評価を2段階で、すなわち、まず各群について個別に、次に群レベルで行うように構成される。
検出器の各ピクセルの信号が個別に処理される「従来の」エアリスキャンと同等のz方向への分解能を実現するためには、複数のリング形の群を形成する必要があり得る。データの処理は、群の数の増加と共に減少するが、いずれにしても従来の計算より大幅に速い。したがって、リング形の周囲群を1つだけ使用するのではなく、それを複数使用することが好ましく、リング形の群の各々の中央の群からの距離は異なる。その後、次々に取り囲むリング形の群の系が提供され、前記系は中央の群の周囲に配置される。4つ又は5つの群が特に好ましい。
さらに、好ましくは各ピクセルが群の正確に1つに割り当てられるようになされる。
好ましい実施形態において、各群の前処理原画像は、各群に関する2D検出器のデータの2次元デコンボリューション(deconvolution)を行うことによって計算される。その後、2段階評価は、各群についての初期2Dデコンボリューション、次に群レベルでの3Dデコンボリューションを提供する。
特に、方法又は顕微鏡の中で、試料は照明によって励起されて蛍光放射を発する。その後、照明ビーム経路が励起ビーム経路として形成される。
下記の文は顕微鏡検査方法の態様を説明するが、前記態様は、対応する方法ステップを実行するように適当に構成される評価装置に等しく関係する。装置は、適正なソフトウェア又は適正なプログラムコードで実装されるコンピュータであってよい。反対に、顕微鏡及びその操作に基づいて説明される態様は、顕微鏡検査方法に等しく関係する。
上述の特徴及び以下に説明する特徴は、明記された組合せでしか使用できないのではなく、他の組合せでも、又は単独でも使用でき、それも本発明の範囲から逸脱しないと理解されたい。
以下に本発明を実施形態に基づいてさらに詳しく説明し、それと共に同様に本発明に不可欠な特徴を開示している添付の図面を参照する。これらの実施形態は例示にすぎず、限定的と解釈されるべきではない。例えば、複数の要素又は構成部品を備える実施形態の説明は、これらの要素又は構成部品のすべてが実装に必要であることを意味していると解釈されるべきではない。むしろ、他の実施形態には、代替的な要素及び構成部品、それより少ない要素若しくは構成部品、又は追加の要素若しくは構成部品が含まれていてもよい。異なる実施形態の要素又は構成部品は、特に別段の断りがないかぎり、相互に組み合わせることができる。実施形態のうちの1つについて説明された改変や変更は、他の実施形態にも当てはめることができる。反復を避けるために、異なる図中の同じ要素又は対応する要素は、同じ参照符号で示され、何度も説明されない。
高分解能顕微鏡検査用顕微鏡の略図を示す。 図1の顕微鏡の検出器のピクセルの配置の略図を示す。 図1の顕微鏡の検出器のピクセルの配置の略図を示す。 顕微鏡検査方法のための信号伝搬図を示す。 高分解能共焦点顕微鏡のデータ処理の実施形態を示す。 図4のそれに対する代替的なデータ処理を示す。 使用される顕微鏡のオブジェクト伝達関数のミーン伝達関数を示す。 使用される顕微鏡のオブジェクト伝達関数のミーン伝達関数を示す。 使用される顕微鏡のオブジェクト伝達関数のミーン伝達関数を示す。 検出器のピクセルの群への分割の図式的表現を示す。 第一の信号評価例による、高分解能化された前処理画像の信号伝搬図を示す。 第二の信号評価例による、図8と同様の図を示す。 各種の評価方式のためのミーン伝達関数を示す。 各種の評価方式のためのミーン伝達関数を示す。 各種の評価方式のためのミーン伝達関数を示す。
図1は、高分解能、すなわち、例えば欧州特許出願公開2317362A1号明細書から知られている、いわゆるエアリスキャンの原理による回折限界より高くされた分解能を有する共焦点顕微鏡20を概略的に示す。これは、試料Pを照明スポット14で照明する光源6を有する。照明光Bは、ビーム整形手段7及びミラー8を介してビームスプリッタ9へと案内される。ビームスプリッタ9は、照明光Bのできるだけ多くを反射して、それをスキャナ10へと案内するように構成される。スキャナ10から、照明光Bは、別のビーム整形光学ユニット11及び12を介して対物レンズ13へと案内される。対物レンズ13は、照明光Bを試料Pに、照明スポット14へと集束させる。
試料により照明スポットBにおいて生成される試料光Dは、対物レンズ13により集光されて、照明光Bに関して逆の経路でビームスプリッタ9に案内される。ビームスプリッタ9は、試料光Dのできるだけ多くの部分を透過させるように構成される。このようにしてビームスプリッタ9を透過した試料光Dは、別のフィルタ15及び別のビーム整形光学ユニット16を介して検出器17へと送られる。検出器17は、試料光Dを検出し、そこから電気信号を生成して、これらを、導体23、24、25を介して制御及び評価装置C、例えばコンピュータへと送る。このようにして回折像18が得られ、この像は、回折構造18aが示すように、回折限界である。
試料Pの画像を得るために、照明スポット14はスキャナ10によって試料P全体にわたり点で移動される。このようにして得られた点に関する試料の信号から、制御及び評価装置Cは画像を構成し、これは例えばモニタを使って表示できる。この設定では、スキャナ10により2次元画像を得ることができ、これは横方向に、すなわち対物レンズの光軸に垂直な平面内に延びる。3次元画像を得るために、対物レンズ26と試料Pとの間の距離が変えられ、各距離において試料Pの2次元画像が撮影される。評価ユニットは、このようにして得られた信号を合成して、3次元画像を形成することができる。
図2a及び2bは、共焦点顕微鏡の検出器を概略的に示している。図2aは、1つの感光面30を有する従来の検出器を示す。高分解能を実現するために、共焦点顕微鏡20の検出器17は、図2bに示されるように複数の検出素子、すなわちピクセル31を有する。素子には番号が付けられており、この配置は例として32個のピクセルを有する。
ピクセル31の大きさは、検出器17上に生成される回折像18より大幅に小さいピクセルを有するように選択される。それと同時に、ピクセル31の数と、その結果として検出器17の全範囲は、試料光Dの実質的な部分が回折像18のために検出できるように選択される。
比較として、図2aは1つの素子30のみを有する検出器を示しており、これは従来の分解能を有する共焦点顕微鏡に使用されるであろう。別の表現をすれば、検出器の全範囲が回折像18の大部分をカバーする。「従来の分解能(conventional resolution)」という用語は、アッベ限界(Abbe limit)がこの場合に実現される分解能に当てはまることを意味すると理解すべきである。これに対して、より高い分解能を有する共焦点顕微鏡20では、照明及び検出が協働して、理論上、2倍高い分解能を実現できる。実際には、分解能の増大幅は若干小さく、それは、分解限界付近の構造は非常に低いコントラストでしか送信できないからである。現実的に、アッベ限界の最大1.7倍の分解能を実現できる。
各走査点
Figure 2020536276
について、高分解能の共焦点顕微鏡20の検出器17は、検出器の素子31の数に対応する多くの検出信号
Figure 2020536276
を捕捉する。
Figure 2020536276
は横方向の試料位置を示し、zは軸方向の試料位置を示し、指数hは検出器の素子(ピクセル)を示す。以下の説明は32個のピクセルを前提としているが、その他の数のピクセルも使用できる。
検出器の素子31の各々は試料Pからの原画像信号を捕捉し、これは信号
Figure 2020536276
からなる。原画像信号は相互に異なり、その差は、検出器のそれぞれの素子により検出される試料領域に関する照明光スポットの横方向の距離により特定される。原画像信号は、検出器のそれぞれの素子hの点広がり関数(PSF:point spread function)
Figure 2020536276
を用いる「実際の」試料画像
Figure 2020536276
のコンボリューションにより数学的に説明される:
Figure 2020536276
すべての
Figure 2020536276
を、試料の原型
Figure 2020536276
に対応する画像
Figure 2020536276
へとできるだけ正確に合成することは、評価ユニットCの機能である。これは、デコンボリューション(DCV)と、このようにデコンボリューションが行われた原画像信号のその後の合成とにより実現され、デコンボリューションと合成のプロセスは、処理の点で相互に併合できる。
図3は、信号伝搬図の全ステップを示している。開始点はPSF
Figure 2020536276
(40)と原画像信号
Figure 2020536276
(41)である。PSFは、光学システムの特性によってわかる。これらは、システムパラメータから計算することも、一度測定し、保存することもできる。信号はライン140、141を介して評価50に送信され、これはすべての原画像信号のそれぞれ対応するデコンボリューションと合成を行って、試料の原型
Figure 2020536276
に対応する試料の画像
Figure 2020536276
(42)をできるだけ正確に出力する。
図3及び他のすべての信号伝搬図は、送信されるデータの量を矢印140、141、151の太さにより示す。32の原画像信号
Figure 2020536276
と32のPSF
Figure 2020536276
がある。評価により、試料の画像
Figure 2020536276
を生成し、前記画像内のデータの量は全原画像信号の32分の1である。これは、細い矢印151により象徴される。同様に、1つの画像に関するデータの量の係数は矢印のところに示される。すなわち、原画像信号及びPSFに関する//32と、試料の画像に関する//1である。
破線60は共焦点顕微鏡20の全体のドメインを分離し、それらの間で原画像信号のデータが送信されなければならない。この場合、ドメインLSM(レーザ走査顕微鏡)は共焦点顕微鏡のハードウェア関連セクタ、すなわち光学系、機械系、及び電気系であり、それによってPCドメインへのデータ転送が容易となる。ドメインPCは制御及び評価装置C及び、その結果、共焦点顕微鏡20の制御、その後の処理、及びデータの表示に必要なすべてを構成する。通常、パーソナルコンピュータCがこのドメインの中核である。具体的には、すべての原画像信号のデータは、LSMからPCに転送されなければならない。これにはパワフルなインタフェースが必要であり、データ転送速度は、提供されるインタフェースにより限定され得る。
図4は、高分解能の共焦点顕微鏡20におけるデータ処理の、より具体的な実施形態を示す。ここで、評価ユニット50aは、いわゆるウィナフィルタリング(Wiener filtering)
を実行する。このために、原画像信号
Figure 2020536276
は、局所座標で表され、まずフーリエ変換が行われて、原画像信号は空間周波数座標
Figure 2020536276
で与えられる。同じことがPSFについても行われる。すでにフーリエ空間で変換されたPSF
Figure 2020536276
は、オブジェクト伝達関数OTFと呼ばれる。
50aのデコンボリューション式を理解するためには、2つの態様が重要である:
1.原画像信号は、前述のように、システムPSFとのコンボリューションが行われる試料に対応する:
2.実空間内のコンボリューションは、フーリエ空間での乗算に対応する。それゆえ、原画像信号は、フーリエ空間においては、試料とOTFとの積として表すことができる:
Figure 2020536276
Figure 2020536276
のための式がデコンボリューション式に挿入されると、
Figure 2020536276
が得られ、
Figure 2020536276
は共役複素相のOTF(OTF with conjugate−complex phase)を示し、次に(原(original))OTFとの積でその絶対値の二乗が得られる。
wは正の実数であり、この場合はウィナパラメータとして示されるものとする。ウィナパラメータが
Figure 2020536276
に関して小さいと、端数は1に近付き、
Figure 2020536276
は試料の原型
Figure 2020536276
にほぼ対応する。他方で、wが小さすぎなければ、端数は確実に、
Figure 2020536276
の小さいときの点
Figure 2020536276
で発散しない。このような発散は、原画像信号
Figure 2020536276
に必ず存在し、ここでは図示されていないノイズを極端(beyond all measure)に増大させ、結果として得られる画像
Figure 2020536276
は使用に適さないものとなる。
画像を表示できるようにするために、空間周波数座標で与えられる画像
Figure 2020536276
は、逆フーリエ変換を使って実空間に再び変換されなければならない。実際のデコンボリューション50aは比較的簡単な計算ステップ(加算と乗算のみ)で構成されるものの、全体としてのデコンボリューションプロセスは複雑である。特に、すべての原画像信号
Figure 2020536276
のフーリエ変換は計算集約的であるため、時間がかかる。
原画像信号の処理のための1つの代替案が図5に示されている。原画像信号のこの代替的処理は、個々の原画像信号が実質的に、移動によって相互に横方向、すなわち
Figure 2020536276
方向にのみ異なる点を利用する。この移動s 51は、PSF
Figure 2020536276
の関数であり、比較的わずかな労力で計算できる。するとこれは、近似により処理ルートを開放する(This now opens a processing route by way of approximation:)。原画像信号は移動sのために押し戻され、その後、加算される53。このような移動は、原画像信号のすべての平面zについて同様に行われる。その結果、前処理原画像
Figure 2020536276
が得られる。前処理PSF
Figure 2020536276
52も同様に計算される。別のステップ50bで、前処理原画像について前処理PSFでのデコンボリューションが行われ、試料のデコンボリューション後の原画像
Figure 2020536276
が得られる。この処理ルートの利点は、第一に、前処理(53)が非常に簡単で、したがって素早いことにある。これによって、前処理はデータをPCに転送する153前に実行でき、したがって32枚ではなく1枚の画像だけを転送すればよい。これは、LSMとPCとの間のインタフェースから負荷を取り除く。第二に、画像取得後にデコンボリューションが必要なのは前処理原画像だけである。これも同様に、1回のフーリエ変換だけでよいため、及びデコンボリューションの中で加算が不要となるため、はるかに迅速に行われる。全体として、前処理の全部に、事前に必要な時間のうちのわずかしか使われない。
しかしながら、処理ルートのこの利点は、重大な欠点により打ち消される。その理由は、前処理はzに関する原画像信号の特性を全く考慮しておらず、その結果、z方向への分解能が従来の共焦点顕微鏡で実現される程度まで低くなる。このことは図6に示されている。示されている図表a〜cは「ミーン伝達関数」MTF(mean transfer function)であり、これはOTFの絶対値と定義される。横方向の空間周波数がx軸に沿ってプロットされ、軸方向の空間周波数がy軸に沿ってプロットされている。どちらの軸も、ワイドフィールドシステムのそれぞれ横及び軸方向の限界周波数に関して正規化されている。MTFの振幅は等高線としてプロットされ、これは
Figure 2020536276
での振幅に関して正規化されている。MTFの振幅が大きいことは、画像のコントラストが高いことを意味し、又はDCVによる補正後に、MTFの振幅が高いことは、特に低ノイズの画像であることを意味する。図6aは、図2aに示されるような1つの検出器を備える従来の共焦点システムのMTFを示す。このようなシステムの横方向の分解能は、ワイドフィールド顕微鏡のそれにほぼ対応しており、すなわち
Figure 2020536276
の方向への最大範囲が約1に近付く。軸方向では、ワイドフィールドシステムよりすでに分解能が増大している。しかしながら、軸方向の分解能は軸上の
Figure 2020536276
で急減している。これは、図6aの矢印71により示されている。これに対して、図6cは、原画像が図3又は4により説明したように前処理された場合に、高分解能化された共焦点顕微鏡20により実現され得るMTFを示す。横方向の分解能は約1.5倍に増大し、k方向への軸上のMTFの急減71はなくなっている。原画像が図5による高速計算近似を使って前処理された場合、分解能の増大は横方向においては依然として実現される。しかしながら、軸方向でk方向への急減は克服されない。これは図6bに示されている。
高速処理の利益を実現しながら、z分解能がより低いという欠点を容認せずに済むようにするには、評価を特殊な方法で、すなわち2段階で行うようにする。
そのために、まず図7を考える。ここで、図2bの検出器が再び示されている。照明光スポット14は通常、検出器17の中央にある。別の表現をすれば、照明光スポット14のセントロイド(centroid)は第一のピクセル32のセントロイドと一致する。光軸に関して対称(特に回転対称)のPSFの場合、軸(k)方向の分解能は、照明光スポット14に関するピクセル32の距離のみに依存し、照明光スポット14に関するピクセル32の方向には依存しない。その後、これは、軸方向に同じ特性のPSFを有する検出器上にリング形の区域33があることを意味する。この効果はまず、リング内のすべてのピクセルのデータを2次元で前処理するために利用される。ここで、前処理されたPSFは軸方向に制限されず、それは、軸方向に同じ特性を有するからである。このように得られた前処理原画像は次のステップで最終的に合成されて、デコンボリューションが行われ、このステップでは前処理原画像のz特性を考慮に入れることができ、それゆえ、z方向にも最大分解能を実現できる。
この2段階評価の利点は、画像の前処理の計算集約性が格段に低いことであり、これは特に、それが2次元で行われる場合、すなわち、図3による直接3次元前処理が生成するような深さ情報をまったく生成しない場合に当てはまる。その後、最終的な、より複雑な、3D計算は数の減った前処理原画像についてのみ行えばよく、相応に素早く行われる。
この方法の経済性に関して、図7を再び考える。この例示的な検出器は、例えば4つのリング区域cに分割できる。リング区域Iは中央の検出器素子1のみを含み、リング区域IIは素子2...6を含み、リング区域IIIは素子7〜19を含み、リング区域IVは最後に素子20〜32を含む。それゆえ、4つの前処理原画像が当初の32個の原画像から生成でき、この前処理原画像は当初のデータ量の1/8しか含んでいない。
図8は、共焦点顕微鏡20のための前処理を概略的に示す。第一の評価例では、第一のステップですべての原画像Dが合成されて、前処理原画像
Figure 2020536276
55が形成される。合成は、有利には、横方向への分解能の損失が生じないような方法で実行される。例えば、すべての原画像について、まず、それらの2次元PSF
Figure 2020536276
に関してデコンボリューションを行うことができる。その後、検出器17のリング区域cの各々に対して合成55が行われる。前処理原画像の数は原画像信号の数より有意に少ない。この例では32個の原画像信号があるが、前処理原画像は4つのみである。したがって、データの量は8分の1に減る。これによって、また、LSMからPCへと最終処理50cのために転送されるべきデータ155の量も8分の1に減る。最終的なDCVは、前処理原画像のデコンボリューションと合成を含む。そのために、システムは、前処理原画像のためのPSF
Figure 2020536276
を特定し、これらのPSFで前処理原画像のデコンボリューションを行う。最後に、試料の、デコンボリューションが行われた画像
Figure 2020536276
が得られ、この画像は試料に非常に正確に対応し、従来の手段により表示できる。
図9は、共焦点顕微鏡20のための第二の評価例に関する。これは、個別の原画像信号が実質的に、移動により相互に横方向、すなわち
Figure 2020536276
方向にのみ異なることを利用する。移動s 51は、PSF
Figure 2020536276
の関数であり、比較的わずかな労力で計算できる。前処理のために、原画像信号の移動は補償され、その後、検出器のリング区域のすべての原画像信号がこのように移動され、加算される53a。これらの計算ステップは、非常に高速で、画像取得中に同等に行うことができる。前処理原画像52aのPSFも同様に計算される。前処理原画像は最終計算50dへと供給され153a、その後、デコンボリューションと加算が行われる。この例では、図4のステップ50aで述べたようにウィナデコンボリューションが利用される。ウィナデコンボリューション50dは、前処理原画像の数が減ったことにより、はるかに高速で行うことができる。特に、本発明のこの例では、32個ではなく、4つになった画像のみにフーリエ変換を行えばよい。ウィナデコンボリューションにより最終的な3D画像が提供され、これは従来の手段で表示できる。
図10a及び10bは、共焦点顕微鏡20のMTFを示す。比較のために、従来の評価を行うシステムにより提供されるMTFが図10cに示されている。図10aは、図9による第二の評価例のMTFを示す。図6bにおいて生じるような、k方向の
Figure 2020536276
におけるMTFの急減は完全に回避される。図10bは、前処理で2D DCVが使用された第一の評価例のMTFを示す。第二の評価例の非常に高速な方法と比較して、空間周波数≒1で幾分大きい横方向のMTF振幅がある。これは、比較線65aにより可視化されている。図10bにおいて、この線は0.05MTFの等高線と接触しており、図10aでは、この等高線は幾分中央にある。異なる表現をすれば、比較線65a上のMTFは、図10bより幾分低い。どちらの実施形態も、横方向の空間周波数の高い領域においても、等しく良好な効果を示す。これは、比較線65bにより明確となる。これは、0.002の等高線が両方の図で同じ寸法に達することを示している。
留意すべき点として、2つの評価例間の差はまた、システムのパラメータにも依存する。すべてのシミュレーションに、エアリ回折ディスクの直径の1.5倍に対応する検出器範囲の合計の直径を使用した。差は直径が小さいほど小さいことがわかった。パラメータの選択によって、異なる評価形態が有利になる可能性があり、また、1つのシステムの中に、パラメータの選択に応じて使用される複数の評価形態を提供することも想定される。
先行技術との比較のために、図3による先行技術の評価を行ったMTFが図10cに示されている。これは実際には、図10bのMTFと違わない。そのため、2段階評価は、実質的により短い計算時間で同等に良好な結果が達成される。
これは、具体的に説明された実施形態に限定されない。異なるマトリクスのリング領域、例えば正方形のマトリクスのリング領域を有する検出器でも、z方向に十分に類似したPSFを有するピクセルを特定し、これらのピクセルを一緒に前処理することが可能となる。区域の数は変えることもでき、例えば2、3又は5、6である。
同様に、異なる前処理及び最終処理も、これらが高分解能化の利益をほとんど保持できるかぎり、想定可能である。例えば、反復的デコンボリューションプロセスも使用でき、これはウィナデコンボリューションの特定の欠点を回避する。ケースバイケースで、それほど良好な結果を生じない、すなわちMTFがわずかに低くなるが、計算コストは少なくて済む方法も使用できる。また、システムPSFについてまったくわからなくてもよいデコンボリューション方法(いわゆるブラインドデコンボリューション)も使用できる。
前処理原画像が最終処理に転送されるフォーマットは重大ではない。例えば、空間周波数空間における前処理を実行しながら、前処理原画像は実際の空間に再び変換されず、空間周波数データとして転送されることも想定される。これは、最終処理も同様に空間周波数空間内で行われる場合に特に有利である。この場合、最終処理はzに関しては依然としてデータを変換しなければならないが、横座標については不要である。その結果、時間がさらに節約される。
前処理と最終処理が行われる場所は、その方法にとって重大ではない。それゆえ、初めに原画像信号のすべてをライン141を介して送信して、2段階評価を完全にPC上で実行することもできる。その場合、より少ない/より高速のデータ転送の利点はなくなるが、計算コスト全体が減少するため、依然として加速(acceleration)がある。

Claims (13)

  1. 試料(P)の高分解能走査顕微鏡検査の方法において、
    −前記試料(P)は照明放射で、前記照明放射(B)が前記試料(P)の中又は表面のある点に集束されて回折限界照明スポット(14)を形成するような方法で照明され、
    −前記点は、ピクセル(31)を有する2D検出器(17)上に、回折像(18)への回折限界で結像され、そのピクセル(31)により、前記2D検出器(17)は、前記回折像(18)の回折構造(18a)を分解する空間分解能を有し、
    −前記点は、異なる走査位置へと、前記照明スポット(14)の直径より小さいインクリメントで前記試料(P)に関して移動され、
    −前記2D検出器(17)が読み取られ、前記2D検出器(17)のデータから、及び前記データに割り当てられた前記走査位置から前記試料(P)の画像が生成され、前記画像は、結像のための分解限界より高められた分解能を有し、
    −前記2D検出器(17)の前記ピクセル(31)は、光軸上にある中央の群(32)と、前記中央の群(32)をリング状に取り囲む別の群(33)を含む群(32、33)に分割され、
    −各群(32、33)について前処理された原画像が計算され、
    −前記前処理原画像が合成され、デコンボリューションが行われて、前記試料(P)の前記画像が生成される
    ことを特徴とする方法。
  2. 前記前処理原画像について3次元でのデコンボリューションが行われ、前記試料の3D画像が生成されることを特徴とする、請求項1に記載の方法。
  3. 前記群(32、33)は、少なくとも1つの追加のリング状の周囲群を含み、各リング状の群は前記中央の群(32)から個別の距離を有することを特徴とする、請求項1又は2に記載の方法。
  4. 4つ又は5つの群が提供されることを特徴とする、請求項1〜3のいずれか一項に記載の方法。
  5. 各ピクセル(31)は前記群(32、33)のうちの正確に1つに割り当てられることを特徴とする、請求項1〜4のいずれか一項に記載の方法。
  6. 前記前処理原画像は、2次元デコンボリューションが各群(32、33)について行われることにより計算されることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
  7. 前記データに含まれる原画像信号の相対移動が計算され、前記原画像信号は移動に関して補償され、同じ前記群に属する前記補償された原画像信号が加算されて、この群の前記前処理原画像が計算されることを特徴とする、請求項1〜6のいずれか一項に記載の方法。
  8. 試料(P)の高分解能走査顕微鏡検査のための顕微鏡において、
    −前記試料(P)を照明放射(B)で、前記照明放射が前記試料(P)の中又は表面のある点に集束されて回折限界照明スポット(14)を形成するような方法で照明する照明ビーム経路と、
    −ピクセル(31)を有する2D検出器(17)上に、前記点を回折像(18)への回折限界で結像する結像ビーム経路であって、そのピクセル(31)により、前記2D検出器(17)は、前記回折像(18)の回折構造(18a)を分解する空間分解能を有するような、結像ビーム経路と、
    −前記点を、異なる走査位置へと、前記照明スポット(14)の直径より小さいインクリメントで前記試料(P)に関して移動させる走査装置(10)と、
    −前記2D検出器(17)のデータから、及び前記データに割り当てられた前記走査位置から前記試料(P)の画像を生成する評価装置(C)であって、前記画像は、前記画像の分解限界より高められた分解能を有するような、評価装置(C)と、
    を含み、
    −前記2D検出器(17)の前記ピクセル(31)は、光軸上にある中央の群(32)と、前記中央の群(32)をリング状に取り囲む別の群(33)を含む群(32、33)に分割され、
    −前記評価装置(C)は、各群(32、33)について前処理された原画像を計算するように構成され、
    −前記評価装置はさらに、前記前処理原画像を合成し、デコンボリューションを行うことによって、前記試料(P)の前記画像を生成するように構成される
    ことを特徴とする顕微鏡。
  9. 前記評価装置(C)は、前記前処理原画像の3次元でのデコンボリューションを行うことによって、前記試料(P)の前記画像を生成するように構成されることを特徴とする、請求項8に記載の顕微鏡。
  10. 前記群(32、33)は、少なくとも1つの追加のリング状の周囲群を含み、各リング状の群は前記中央の群(32)から個別の距離を有することを特徴とする、請求項8又は9に記載の顕微鏡。
  11. 4つ又は5つの群(32、33)が提供されることを特徴とする、請求項8〜10のいずれか一項に記載の顕微鏡。
  12. 各ピクセル(31)は前記群(32、33)のうちの正確に1つに割り当てられることを特徴とする、請求項8〜11のいずれか一項に記載の顕微鏡。
  13. 前記評価装置(C)はさらに、前記群(32、33)について2次元デコンボリューションを行うことにより前記前処理原画像を計算するように構成されることを特徴とする、請求項8〜12のいずれか一項に記載の顕微鏡。
JP2020518535A 2017-10-02 2018-09-25 高分解能共焦点顕微鏡 Pending JP2020536276A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017122858.6A DE102017122858A1 (de) 2017-10-02 2017-10-02 Konfokalmikroskop mit hoher Auflösung
DE102017122858.6 2017-10-02
PCT/EP2018/075991 WO2019068519A1 (de) 2017-10-02 2018-09-25 Konfokalmikroskop mit hoher auflösung

Publications (1)

Publication Number Publication Date
JP2020536276A true JP2020536276A (ja) 2020-12-10

Family

ID=63720665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518535A Pending JP2020536276A (ja) 2017-10-02 2018-09-25 高分解能共焦点顕微鏡

Country Status (5)

Country Link
US (1) US11307397B2 (ja)
EP (1) EP3692409B1 (ja)
JP (1) JP2020536276A (ja)
DE (1) DE102017122858A1 (ja)
WO (1) WO2019068519A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019203449A1 (de) * 2019-03-14 2020-09-17 Carl Zeiss Microscopy Gmbh Verfahren zur Entfaltung von Bilddaten
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie
DE102020202804A1 (de) 2020-03-05 2021-09-09 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bilderfassung
DE102020122605A1 (de) 2020-08-28 2022-03-03 Abberior Instruments Gmbh Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
JP2009264752A (ja) * 2008-04-21 2009-11-12 Hayashi Soken:Kk 三次元画像取得装置
WO2016180403A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Microscopy Gmbh Auswertung von signalen der fluoreszenzrastermikroskopie unter verwendung eines konfokalen laserscanning-mikroskops
DE102015111702A1 (de) * 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317362B1 (de) 2009-10-28 2020-01-15 Carl Zeiss Microscopy GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
DE102013015933A1 (de) * 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013218795A1 (de) * 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Laserscanningmikroskop und Verfahren zur Korrektur von Abbildungsfehlern insbesondere in der hochauflösenden Scanning-Mikroskopie
US10663750B2 (en) * 2016-03-15 2020-05-26 The Regents Of The University Of Colorado, A Body Super-resolution imaging of extended objects
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
JP2009264752A (ja) * 2008-04-21 2009-11-12 Hayashi Soken:Kk 三次元画像取得装置
WO2016180403A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Microscopy Gmbh Auswertung von signalen der fluoreszenzrastermikroskopie unter verwendung eines konfokalen laserscanning-mikroskops
DE102015111702A1 (de) * 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe

Also Published As

Publication number Publication date
EP3692409A1 (de) 2020-08-12
US20210373306A1 (en) 2021-12-02
DE102017122858A1 (de) 2019-04-04
WO2019068519A1 (de) 2019-04-11
EP3692409B1 (de) 2022-08-24
US11307397B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
JP2020536276A (ja) 高分解能共焦点顕微鏡
US7224824B1 (en) Computerized adaptive imaging
US8019136B2 (en) Optical sectioning microscopy
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
US11106027B2 (en) Resolution enhancement for line scanning excitation microscopy systems and methods
JP4852758B2 (ja) 電子顕微方法およびそれを用いた電子顕微鏡
US11300767B2 (en) Method for high-resolution scanning microscopy
CN109656012A (zh) 显微镜和用于产生具有扩展的景深的显微图像的方法
CN111989608B (zh) 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法
US20200218047A1 (en) High-resolution scanning microscopy
JPH02247605A (ja) レーザ走査蛍光顕微鏡
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
CN113939759A (zh) 用于校正显微镜物镜视场中对焦平面变化的系统和方法
Averkin et al. Using the method of depth reconstruction from focusing for microscope images
CN116990950B (zh) 基于光场调控的快速三维光片荧光显微成像装置及方法
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
EP4258038A1 (en) Image acquisition device and image acquisition method
US20220130071A1 (en) Image data obtaining method
JP4740577B2 (ja) 共焦点走査型顕微鏡装置
Chang et al. Optomechanical analysis for confocal laser scanning microscopes

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200413

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220915

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230627

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521