JP2022527234A - 光子計数検出器素子を備える光学顕微鏡および撮像方法 - Google Patents

光子計数検出器素子を備える光学顕微鏡および撮像方法 Download PDF

Info

Publication number
JP2022527234A
JP2022527234A JP2021540157A JP2021540157A JP2022527234A JP 2022527234 A JP2022527234 A JP 2022527234A JP 2021540157 A JP2021540157 A JP 2021540157A JP 2021540157 A JP2021540157 A JP 2021540157A JP 2022527234 A JP2022527234 A JP 2022527234A
Authority
JP
Japan
Prior art keywords
photon counting
counting detector
photon
light
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021540157A
Other languages
English (en)
Other versions
JP7365649B2 (ja
Inventor
アンニュイ,ティエモ
ミッシェル アントロヴィック,イヴァン
シュウェート,ダニエル
ブルスキーニ,クラウディオ
シェルボン,エドアード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique Federale de Lausanne EPFL
Carl Zeiss Microscopy GmbH
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL, Carl Zeiss Microscopy GmbH filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of JP2022527234A publication Critical patent/JP2022527234A/ja
Application granted granted Critical
Publication of JP7365649B2 publication Critical patent/JP7365649B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control

Abstract

光学顕微鏡は、検体(35)を照射するための光源(10)と、検体(35)からの検出光(15)を測定するための複数の光子計数検出器素子(61~64)を備える光子計数検出器アレイ(60)であって、光子計数検出器素子(61~64)が、それぞれ測定された光子計数率を出力するように構成されている光子計数検出器アレイ(60)と、光子計数検出器アレイ(60)を制御するための制御デバイス(70)と、を有する。制御デバイス(70)は、異なる光子計数検出器素子(61~64)で同時に測定可能である、および/または同じ光子計数検出器素子(61)で連続して測定可能である、測定可能な光子計数率に個別に影響を与えるように構成されている。さらに、撮像方法では、光子計数検出器アレイの信号対雑音比を増加させるために、光子計数検出器素子の測定可能な光子計数率が個別に影響を受ける。

Description

本発明は、請求項1のプレアンブルによる光学顕微鏡に関する。本発明は、請求項24のプレアンブルによる撮像方法に関する。
光学顕微鏡は、ライフサイエンスまたは材料試験など、さまざまな用途で使用されている。特に、共焦点走査型顕微鏡は確立された技術である。共焦点走査型顕微鏡で採用されている従来のセンサー技術は、マルチアルカリもしくはGaAsP光電陰極を備えた光電子増倍管、またはGaAsP光電陰極およびAPD(アバランシェフォトダイオード)検出器を備えたハイブリッド検出器を含む。
高感度および低ダークノイズならびに高ダイナミックレンジを備えた検出器を提供することが一般的な要望である。短いピクセル滞留時間を可能にするには、検出器からの高速応答および高計数率が望ましい。
最近の進歩により、高感度、高速応答時間および低ダーク計数を提供する単一光子アバランシェダイオード(SPAD)の使用を見る。それらはまた、Sheppardらの研究に基づく画像スキャン技術(エアリースキャン(Airyscan))で使用され得る点拡がり関数(PSF)の空間サンプリングを可能にするアレイに配置し得る(Sheppard, C.J. Optik 80, 53-54 (1988);およびSheppard, C.J., Mehta, S.B. & Heintzmann, R. Opt. Lett. 38, 2889-2892 (2013)を参考)。特定のアプリケーションでは、PSFは回転対称であるが、一般に任意の配光が使用され得る。
一般的な光学顕微鏡は、検体を照射するための光源と、検体からの検出光を測定するための複数の光子計数検出器素子を備える光子計数検出器アレイであって、光子計数検出器素子が、それぞれ測定された光子計数率を出力するように構成されている光子計数検出器アレイと、光子計数検出器アレイを制御するための制御デバイスと、を有する。一般的な撮像方法は、検体を照明光で照射するステップと、複数の光子計数検出器素子を含む光子計数検出器アレイを用いて検体から来る検出光を測定するステップと、を含み、光子計数検出器素子は、それぞれの測定された光子計数率を出力する
SPADは高感度、高速応答時間および低ダーク計数を提供するが、SPADのダイナミックレンジは、特にSPADのデッドタイムのため、かなり制限される。デッドタイムは、SPADによる光子の検出後、SPADが別の光子を検出できるようになるまでに必要な期間を定義する。
SPADは、任意の自由電荷キャリアを欠く空乏領域との接合部を含む。降伏電圧を超える電圧VOPが接合部に印加される。SPADによって吸収された光子は、空乏領域にキャリアを注入でき得、その結果、衝突電離によってキャリアのアバランシェが発生し、それはダイオードのさらなる領域に広がり、光子計測として検出され得る。
次の光子を検出するために、アバランシェは、例えば、急冷抵抗器でクエンチされる。ダイオードがクエンチされると(つまり、衝突電離による電流がなくなり、ダイオードに自由キャリアがなくなる)、ダイオードの電圧は、例えば、クエンチング抵抗器により電流の流れによって再充電され、ダイオードは別のキャリアを検出する準備ができる。衝突電離の開始からアバランシェ後に電圧が回復するまでに必要な時間は、デッドタイムとして定義され得る。アバランシェクエンチングには能動的および受動的な方法が存在する。能動的クエンチングでは、バイアス電圧に作用することによりアバランシェが検出され、停止される。受動的な方法では、接合バイアスは、例えばバラスト抵抗器などによって自己調整される。再充電方法自体も能動的または受動的であり得る。
光子のデッドタイム中にSPADに衝突する光子は登録されないため、デッドタイムはSPADのダイナミックレンジを制限する。複数のSPADベースの検出器素子を備えた検出器アレイを使用してダイナミックレンジを拡大することができるが、それにもかかわらず、ダイナミックレンジをさらに改善することが望ましい。
通常、SPAD検出器または検出器アレイは、その出力(測定された光子計数率)がセンサーに衝突する光強度(検出光子計数/検出された計数率とも呼ばれる)に対して線形である強度範囲で操作される。図3は、光強度IでSPADまたはSPADアレイによって測定された光子計数値mのグラフを示す。低強度の場合、SPADアレイによって測定された光子計数値mは、光強度Iに対して線形である。より大きな強度では、SPADアレイが飽和し、ますます多くの光子を検出ができなくなり得る。結果として、測定された光子計数率はフラットになる。示されている曲線は、SPADの能動的な再充電に基づいていることに注意していただきたく。受動的再充電では、デッドタイム中に衝突する任意の光子は、必要な過剰バイアス電圧の蓄積を打ち消し得、したがってデッドタイムを長くし得る。したがって、SPADの受動的再充電は、実際に、SPADを飽和させる大きな強度に対して減少する測定された光子計数率につながる。
Vol. 26, No. 17, OPTICS EXPRESS 22234 of 20 August 2018に公開されたIvan Michel Antolovicらによる「Dynamic range extension for photon counting arrays」というタイトルの最近の記事は、SPADのダイナミックレンジをその飽和点を超えて拡張する手法について説明している。特に、図3に示される測定された光子計数曲線mの平坦化部分は、図3にも示される修正された光子計数m-corrを出力するように修正され得る。このような手順は、SPADアレイの飽和強度I-satを超える大きな光強度を処理するのに役立つ。ただし、信号対雑音比(SNR)が光強度にどのように依存するかを考慮することも重要である。簡単に理解できるように、SNRは最初は光強度とともに増加し、特に、SNRは、SPADに衝突する光子の数の平方根に比例し得る。ただし、平坦化された部分で測定された光子計数曲線が修正されると(図3の矢印で示されます)、修正された光子計数率のSNRは、ポアソン制限信号ストリームと比較して低下する。
したがって、広いダイナミックレンジにわたって特に優れたSNRを提供する検出技術が依然として必要とされている。
特に高い検出感度と、特に良好な信号対雑音比を備えた広いダイナミックレンジとを提供する光学顕微鏡および撮像方法を提供することは、本発明の目的である。
上記で定義された目的は、請求項1の特徴を有する光学顕微鏡および請求項24で定義された方法で達成される。
好ましい実施形態は、特に添付の図と合わせて、従属請求項および以下の説明に記載されている。
本発明によれば、上述した種類の光学顕微鏡は、制御デバイスが、異なる光子計数検出器素子で同時に測定可能な光子計数率、および/または、同じ光子計数検出器素子で連続して測定可能な光子計数率に個別に影響を与えるように構成されていることを特徴とする。
上述の方法は、本発明によれば、少なくとも、異なる光子計数検出器素子で同時に測定された測定可能な光子計数率、および/または、同じ光子計数検出器素子で連続して測定された測定可能な光子計数率に個別に影響を与え、光子計数検出器アレイの信号対雑音比を、測定可能な光子計数率に個別に影響を与えない場合と比較して増加させるステップにより特徴づけられる。方法はさらに、測定可能な各光子計数率がどのような影響を受けたかを考慮した上で、測定された光子計数率に基づいて画像を算出するステップを含む。方法は、特に、本明細書に記載された本発明の光学顕微鏡の実施形態を用いて実施され得る。
上述したように、光子計数検出器素子のSNRは入射光強度に依存し、特定の光強度で最大となる。光子計数検出器素子のアレイでは、検出器アレイ上の強度分布が一般的に不均一であるため、光強度を調整するだけでは、光子計数検出器素子のすべてまたは大部分をそれらの最適なSNRのポイント付近で動作させることはできない。これは、特に、光子計数検出器素子の感度を個別に調整することで可能となる。光子計数検出器素子の感度を調整することで、入射した光子がアバランシェを起こし、よって検出可能な信号になるように変化する。感度を下げることで、それゆえ特定の検出器素子を飽和させることなく、つまりその光子計数率を上げることなく、より高い強度で測定することができる。一方、非常に低い強度の場合に感度を上げると、強度に対するそのSNRの最適値に近い(つまりその飽和点により近い)検出器素子を動作させることができる。特定の検出器素子に入射する光の強さに応じて、感度を増加または低減させることで、検出器アレイの測定結果の全体的なSNRを最適化することができる。一般に、検出器アレイに入射する光強度は不均一であるため、異なる検出器素子の感度を個別に調整することで、PSFの低強度部分に照射された検出器素子が高い計数率を示す一方で、中心ピクセルが依然として線形領域で動作するので、測定精度が向上し、ダイナミックレンジがさらに広がる。
より一般的に言えば、制御デバイスは、例えば感度を個別に設定することによって、光子計数検出器素子の測定可能な光子計数率に個別に影響を与える。以下でさらに説明する他のオプションは、光ビーム断面にわたる検出光ビームの強度に影響を与えることを含む。「測定可能な光子計数率」とは、現在の(光学顕微鏡の)セットアップの下で光子計数検出器素子を用いて測定することができる光子計数率と理解されるべきである。測定可能な光子計数率は、それぞれの光子計数検出器素子の感度、およびそれぞれの光子計数検出器素子に入射する検出光の強度に影響を与える要因に依存する。例えば、第1の光子計数検出器素子と第2の光子計数検出器素子の感度を異なるレベルに設定し、共通の光強度により、第1の光子計数検出器素子の測定された光子計数率がmとなり、第2の光子計数検出器素子の測定された光子計数がm=k*mとなるようにしてもよい。この例では、2つの光子計数検出器素子の測定可能な光子計数率は、係数kで変化する。「測定された光子計数率」は、登録された光子の数、すなわち、光子計数検出器素子によって実際に測定された光子計数率として理解されるものとし、したがって、本セットアップにおける測定可能な光子計数率の結果を構成するものとする。
同時に測定可能な光子計数率に個別に影響を与えるには、光子計数検出器素子の感度を互いに独立して制御することで達成され得る。また、1つの光子計数検出器素子の連続して測定可能な光子計数率に影響を与えるには、この光子検出器素子の感度を連続して異なる値に設定することで達成され得る。
制御デバイスは、光子計数検出器アレイの信号対雑音比が、特に、測定可能な光子計数率が個別に影響を受けない場合と比較して増加するように、(特に異なる光子計数検出器素子からの)測定可能な光子計数率に個別に影響を与えるように構成され得る。個別の調整を行わないと、いくつかの光子計数検出器素子がそれぞれの飽和強度超の不当に高い光強度を受けたり、他の光子計数検出器素子がそれぞれの飽和強度よりもかなり小さい(例えば、飽和強度の50%よりも低い)不当に低い光強度を受けたりする可能性があり、いずれの場合も、測定されたすべての光子計数率の組み合わせの合計SNRが低下する。強度を調整するまたは感度を調整することで、異なる検出器素子に到達する光強度が不当に高くなったり低くなったりすることを回避することができる。
制御デバイスは、検出器アレイ上の予想される光強度分布に基づいて、例えば感度の調整により、測定可能な光子計数率に個別に影響を与えるように構成され得る。この知識は、以前の参照測定から得られるものであってもよいし、初期の仮定に基づくものであってもよい。例えば、検出器アレイは、共焦点走査型顕微鏡で使用され得る。検体から発せられた検出光は、光学系のPSFで定義されたスポットサイズのスポットとして検出器アレイに集光される。検出器アレイは、その検出器素子がサブエアリー(sub-Airy)検出器素子を構成するように配置されていてもよく、すなわち、検出光スポットがいくつかの検出器素子に衝突する。検出器アレイの中央検出器素子は、検出器アレイの外側の領域にある検出器素子よりも大きな光強度を受けると仮定され得る。したがって、予測/予想される強度分布は、システムの所定のPSFから、または上記のような一般的な仮定に基づいて導出され得、参照測定は厳密に必要ではない。
例えば、検体および検出器アレイの間の検出光路には、フィルタが配置され得る。フィルタは、それぞれの検出器素子を介して導かれる検出光強度を可変に調整するように構成され、特に、空間光変調器(SLM)である。SLMは、その断面において検出光強度を可変的に調整することができる任意のデバイスとして理解され得る。例えば、SLMは、調整可能なマイクロレンズのアレイ、回折光学素子、デジタルマイクロミラーデバイスなどの調整可能なミラー、または制御可能な液晶アレイによって形成され得る。制御デバイスは、測定可能な光子計数率に個別に影響を与えるためにフィルタを調整するように構成され得る。このようなフィルタを用いれば、感度の調整に加えて、または感度の調整に代えて、測定可能な光子計数率を調整することができる。例えば、フィルタは、特定の検出器素子の検出光の大部分を遮断する一方で、その飽和点未満で動作する別の検出器素子の検出光を遮断しないまたはわずかな部分しか遮断しないようにし得る。また、フィルタは、例えば位相差アレイとして形成されている場合には、強度分布を均一化するように制御可能であり、この場合には、別な方法で飽和している検出器素子の光強度を低減するだけでなく、別な方法で小さな強度、例えばそれらの飽和強度の10%未満しか受け取れない検出器素子の光強度を増加させることも可能である。
制御デバイスは、それぞれの光子計数検出器素子に入射する光の予想される強度の増加に伴い、測定可能な光子計数率を低下させるようにフィルタを制御するように構成され得る。同様に、制御デバイスは、光子計数検出器素子に入射する光の予想される強度の増加に伴い、前記光子計数検出器素子の1つの感度を低下させるように構成され得る。制御デバイスは、このように検出器素子のすべてまたは少なくともいくつかを調整してもよく、したがって、それらのそれぞれの予想される光強度に応じて検出器素子に異なる感度を設定してもよい。
光子計数検出器素子は、簡潔に「検出器素子」とも呼ばれるが、特に、いわゆるガイガー(Geiger)モードで動作するSPAD(単一光子アバランシェ検出器)であり得る。ガイガーモードでは、SPADのダイオードに電圧VOPが印加され、この電圧は、ダイオードの降伏電圧を過剰なバイアス電圧で上回る。その結果、光子の吸収によって電荷のアバランシェが発生し、計数可能な事象が発生し得る。光子計数検出器アレイ(略称:検出器アレイ)は、これに対応して、SPADアレイであり得る。
制御デバイスは、それぞれの光子計数検出器素子に印加される過剰バイアス電圧を調整することによって、それぞれの光子計数検出器素子の感度を調整するように構成され得る。すべての検出器素子に共通の過剰バイアス電圧を設定できる検出器アレイとは対照的に、制御デバイスは、したがって個々のダイオードに異なる過剰バイアス電圧を設定するように構成され得る。
制御デバイスは、予想される強度分布を決定するために、現在の検体点で測定された信号強度を使用するように構成され得る。信号強度は、SPADまたは別の検出器で測定され得、特に、測定された光強度または測定された光子計数値から導かれ得る。
制御デバイスは、光子計数検出器アレイで取得され得る較正測定値に基づいて、予想される強度分布を決定するように構成され得る。較正測定は、参照強度測定と呼ばれることもあり、同じ検体で実施され得る、または異なる検体で実施され得る。特に、それは、予想される強度分布が実際に感度を設定するために使用される測定と同じ検体点または別の検体点で実施され得る。例えば、共焦点顕微鏡では、検出器アレイで測定される全体的な強度は、瞬間的に観察される検体点に強く依存するが、検出器アレイ上の強度の相対的な分布は、瞬間的に観察される検体点にはわずかしか依存しない場合があり、したがって、ある検体点または領域で行われた較正測定を、他の検体点の測定に使用される検出器素子の感度調整のために使用することが可能であり得る。
予想される強度分布に基づいて検出器素子の感度を設定は、光子計数検出器素子に過剰バイアス電圧(または、動作電圧もしくは参照電圧に対する電圧差などのそれに依存する特性)を割り当てるキャリブレーションマトリクスを使用することで実現され得る。そして、制御デバイスは、キャリブレーションマトリクスに従って検出器素子の過剰バイアス電圧を設定する。制御デバイスは、少なくとも部分的には、感度調整のためにキャリブレーションマトリクスを採用した検体のスキャン時に使用した照明光よりもより低い照明光強度を用いて検出器アレイ上の強度分布を測定した較正/参照測定から、キャリブレーションマトリクス(または予想される強度分布)を導出するように構成され得る。より低い照明光強度を使用することで、飽和の危険性を大幅に排除して、乱れのない信号分布を求めることができる。
さらなる実施形態では、制御デバイスは、予想される強度分布に基づいて、光子計数検出器素子の感度設定、または光子計数検出器素子の非線形応答領域内の測定された光子計数率を回避するフィルタ設定を決定するように構成されていてもよく、したがって、それぞれの検出器素子に入射する強度が予想される強度に等しい場合に、それぞれの検出器素子の飽和を回避することができる。飽和が発生する強度(飽和強度)は、強度に対する測定された光子計数の曲線が、特定の量、例えば10%または20%だけ線形関係から逸脱する強度として定義されてもよい(図3の飽和強度I-satを参照)。関連する実施形態では、感度は、予想される強度がこの検出器素子に入射したときに、1つの検出器素子の測定された光子計数率が飽和強度の付近またはそれ未満の所定の間隔内にあるように設定されてもよく、ここで、所定の間隔は、例えば、飽和強度の5%から15%の間の数値であり得る。
信号対雑音比を増加させるために、制御デバイスは、各光子計数検出器素子が、入射光強度の増加に伴ってその信号対雑音比が増加するまたはそのそれぞれの最大となる応答領域で動作するように、測定可能な光子計数率に影響を与えるように構成され得る。第1の特性は、検出器素子が飽和していない場合に満たされる。図4に示したSNR(I)曲線に関して、最大SNRは、より一般的には、検出器素子に入射する電流強度がSNR(I)曲線の最大値よりも最大で20%または最大で10%低いSNRをもたらすように理解され得る。すべての検出器素子をこのように動作させてもよいが、代わりに、すべての検出器素子を同じ特性(すなわち、同じ感度設定、および検出光フィルタの場合は、断面にわたって個別の強度調整を行わない)で動作させた場合よりも、少なくともより多くの検出器素子をこの応答領域で動作させ得る。
光学顕微鏡は、検出光が光子計数検出器アレイに入射する前の検出光強度分布を均一化する検出光整形デバイスをさらに有し得る。検出光整形デバイスは、特に予想される強度分布に基づいて、強度分布を柔軟に整形するように調整可能であり得る。例えば、検出光整形デバイスは、回折光学素子、可動ミラーもしくはレンズ、位相差素子または液晶素子などの1以上の調整可能な光学素子を含み得る。検出光整形デバイスは、検出器素子上の検出光分布が、検出光整形デバイスがない場合よりも均一になるように設定され得る。また、検出器素子の感度調整は、検出光整形デバイスによる強度分布の任意の調整も考慮される。
光学顕微鏡は、照明光が検体に入射する前の照明光の強度分布を均一化する照明光整形デバイスをさらに有し得る。照明光整形デバイスは、検出光整形デバイスに関して説明したように構築され得る。制御デバイスは、予想される強度分布の決定において、照明光整形デバイスの設定を使用するように構成され得る。また、照明光整形デバイスは、検体のスキャン中に、強度分布または全体としての強度を(断面上の相対的な分布に影響を与えることなく)柔軟に調整するために使用され得る。
また、制御デバイスは、光子計数検出器素子のいくつかを1つのスーパーピクセルにグループ化し、各スーパーピクセルについてそれぞれの測定値を出力するように構成され得る。多くの場合、このような検出器素子のグループに対して1つの測定値のみが出力されれば十分であり、データ量も少なくて済む。例えば、検出光スポットが検出器アレイの大部分を覆っている場合、スーパーピクセルで十分な精度が得られるのに対し、検出光スポットがより小さい場合には、スーパーピクセルがないか、より小さいスーパーピクセルが好ましい場合がある。グループは、円または円(複数)を囲むリングを備えた1以上の円など、任意の形状を有し得る。光子計数検出器アレイ上で2以上の光スポットを同時に測定することが可能である。異なる光スポットには異なるPSFが適用され得、したがって、光スポットは検出器アレイ上で異なるサイズを有し得る。より大きい光スポット用のグループは、より小さい光スポット用のグループよりも多くの検出器素子を含むように設定してもよい。また、制御デバイスは、光子計数検出器アレイ上で予想される強度分布に応じて、同じグループ/スーパーピクセルの光子計数検出器素子間で異なる感度を設定するように構成され得る。このようにして、データ量の削減という利点と、個別の感度調整によってもたらされる精度の向上を組み合わせ得る。
光学顕微鏡は、一般的にどのような種類のものでもよい。特に、光学顕微鏡は、(共焦点)走査型顕微鏡、広視野型顕微鏡、またはそれらの組み合わせであり得る。光学顕微鏡は、検体ホルダーと対物レンズ、特に画像の距離を無限大にする無限大対物レンズを含むことにより定義され得る。さらに、それは、対物レンズの後方、すなわち対物レンズと検出器アレイの間のビームパスに配置され、対物レンズからの光を(中間)像面に収集するチューブレンズを備えるチューブを有し得る。他の光学システムとは対照的に、光学顕微鏡は少なくとも1つの中間像面を生じる。さらに、例えば1以上のレーザーなどの光源を接続できる照明ポートを有し得る。検体から発せられる検出光は、どのような種類のものであってもよく、例えば、蛍光もしくは燐光、他のメカニズムで検体によって散乱もしくは影響を受けた照明光、または、少なくとも部分的に照明光によって引き起こされ得るある他の理由のために検体から発せられる光であり得る。また、一般的には、照明とは無関係の影響で検体光が発せられ得る。
光学顕微鏡は、照明光を検体上に導くまたは収集させるために配置された対物レンズを有し得る。対物レンズはまた、特に、検体から発せられる検出光を受光し、その検出光を検出器アレイに導くように配置され得る。一般的には、検出光の受光と導光のために別の対物レンズを使用し得る。光学顕微鏡は、対物レンズと照明ポートとの間に配置されたスキャナをさらに有し得る。制御デバイスは、スキャナを制御して、照明光を検体上でスキャンする検体のスキャンを実行するように構成される。また、スキャナは、対物レンズからの検出光を光子計数検出器アレイに導くこともできる。スキャナは、光ビームを調整可能に偏向させるように構成されたデバイスとして理解され得る。それは、ミラー、レンズ、またはプリズムなどの1以上の可動光学素子を有し得る。また、音響光学効果に基づいて、照明光を調整可能に偏向させ得る。
本発明の効果は、共焦点走査型顕微鏡のデスキャンされたセットアップにおいて特に有利である。この場合、対物レンズとスキャナは、照明光だけでなく、検出光も導く。その結果、検出器アレイ上の検出光スポットは、検体がスキャンされている間、静止し得る。次いで、検出器素子の感度設定は、検体のスキャンの一部または検体の全体スキャンを通して変更せずに使用され得る。検出光スポットは、その中心部でその強度が最大となり得、外側に向かって強度が減少し得る。この場合、光スポットの中心にある検出器素子は、使用する最小の感度レベルに設定し、検出器アレイの外側部分に向かって感度を上げ得る。そして、いくつかの検体点を、検出器アレイの同じ感度設定で次々とスキャンしていくことができる。
光子計数検出器アレイ上の検出光スポットの直径が、光子計数検出器アレイの直径に20%以内で対応するように、光子計数検出器アレイおよび光学顕微鏡の光学部品が配置され得る。検出光スポットの直径またはサイズは、光強度が光スポットの(中心の)ピーク強度の20%または代わりに10%に低下した点まで外側に広がるように定義され得る。このようにして、ほとんどの検出器素子は、検出光のシェアを測定するために有意義に使用される。光スポットのサイズと検出器アレイのサイズの整合性を確保するために、参照測定が使用され得る。
検体のスキャン中、検体から発せられる検出光強度は明らかに点から点へと変化し得る。したがって、最適なSNRを得るためには、検体のスキャン中に測定可能な光子計数率に影響を与えるために、光子計数検出器素子の感度、照明光強度、または上述のフィルタを調整することが有用である。このことは、明確にするために、同時に設定された検出器素子の感度が互いに異なっていてもよく、さらに、各検出器素子の感度が、検体のスキャン中に変更されてもよいことを意味する。また、感度設定は、検体点ごとに変更されてもよく、代わりに検体領域ごとに変更されてもよく、この場合、領域内では同じ設定が使用される。このようにすることで、通信および計算の必要性がより低く抑えられる。領域は、以前に取得した検体画像から、特に同じような明るさの画像領域を自動的に特定することで、事前に定義され得る。
制御デバイスは、フィルタ、照明光強度または検出器素子の感度をオンザフライで適応するように構成され得る。この場合、フィルタ、照明光強度または感度は、検体のスキャン中に、同じスキャン中に取得した情報に基づいて調整される。例えば、スキャン中の感度調整には、特定の検出器素子の光子計数率(または、いくつかもしくはすべての検出器素子から算出した平均計数率)が用いられる。多くの検体では、あるピクセル(検体点)から次のピクセルまでの検出光強度の変化は比較的小さい。そのため、1つのピクセルで測定された光子計数率を、スキャン中に次のピクセルで期待される光強度(すなわち、感度調整のための光強度)として使用され得る。一例として、測定された光子計数率が所定の値を超えた時点で、検出器素子の感度をオンザフライで下げ得る。
また、参照画像から検体点間の強度差を求めてもよい。制御デバイスは、光学顕微鏡の構成要素を制御して、検体の参照画像を取得するように構成され得る(例えば、特に低光量で検体をスキャンすることにより、参照画像を取得するように構成されていてもよいし、代わりに、また参照画像を広視野画像として取得してもよい)。さらに、制御デバイスは、取得した参照画像から個々の検体点について予想される強度を決定し、測定可能な光子計数率に影響を与えるために、検体のスキャン中に照明光強度、フィルタ、光子計数検出器素子の感度を調整する際に、予想される強度を使用するように構成され得る。参照画像の取得技術に応じて、参照画像は、異なる検体点についての検出器アレイ上の予想される強度分布を生じ得る、または、参照画像は、検体点もしくは検体領域ごとの検出器アレイの1つの予想される強度値を生じ得る。参照画像の取得が、検体点ごとの検出器アレイ上のそれぞれの強度分布の取得を含む場合、そのような情報は、検体のスキャン中に検出器素子の変化する感度を設定するために完全なものとなり得る。また、参照画像の取得が、検体点ごとの検出器アレイ全体のただ1つの強度値の取得を含む場合、そのような情報は、スキャン中に変化する感度を設定するために、予想される強度分布に関するさらなる情報とともに使用され得る。例えば、相対的な強度分布(検出器素子の感度間の相対的な関係を定義するが、感度の絶対値は定義しない)は、事前に知られているまたは1つの検体点での参照測定から導かれ得、そのような相対的な強度分布は、検体点ごとの検出器アレイ全体について決定された1つの強度値とともに、検体点ごとの期待される強度分布を計算するために使用され得る。
制御デバイスは、代替的または追加的に、取得された参照画像から決定された個々の標本点の期待される強度に基づいて、検体のスキャン中に照明光強度を調整するように構成され得る。予想される強度分布が少なくとも部分的に参照画像に基づいて計算される場合、制御デバイスはまた、参照画像の取得に使用された照明光強度と比較して、検体のスキャンのために照明光強度がどのように設定されるかを考慮し得る。
感度の設定または照明強度の調整のために参照画像を取得する代わりに、(共焦点)マルチポイントセットアップはまたこの目的のために使用され得る。用語をわかりやすくするために、第1の照明スポットを「パイロット光スポット」と呼ぶ。さらなる照明スポット(複数可)は、パイロット光スポットですでにスキャンされた検体部分の上でスキャンされる。パイロット光スポットとさらなる照明スポットは、同様の特性、特に同じ波長(複数可)と同じスポットサイズを有し得、1つの光源からの光ビームを分割して生成してもよいし、または異なる光源で生成してもよい。この実施形態では、光学顕微鏡の光学素子は、パイロット光スポットおよび1以上の照明スポットが検体上で同時にスキャンされる多点照明用に構成され、1以上の照明スポットは、以前にパイロット光スポットでスキャンされた検体ポイント上でスキャンされる。制御デバイスは、検体点についてパイロット光スポットで記録された測定データを使用するように構成され、1以上の照明スポットが前記検体点に照射されたときに、照明光の強度、その断面にわたる検出光の強度を調整するように構成された空間光変調器、および/または光子計数検出器素子の感度を調整する。パイロット光スポットを有する特定の検体点について記録された測定データが、照明スポットの1つがその特定の検体点に入射したときに、現在の光強度が望ましくない高い測定光子計数率をもたらすことを示している場合、現在の光強度が低減され、および/または、空間光変調器が検出光強度を低減し、および/または、感度が低減される。
複数の照明光スポットを使用する場合は、いくつかの光子計数検出器素子を備えたそれぞれの検出器アレイが使用され得る。検出器アレイは、1つの共通アレイの一部であってもよいし、または空間的に分離されたアレイであってもよい。
高いダイナミックレンジを持つ光電子増倍管(PMT)が設けられ得、パイロット光スポットに関連する検出光(例えば、検出光は、パイロット光の入射により検体から発せられる蛍光光であってもよいし、または検出光は検体で散乱したパイロット光であってもよい)を測定するように配置され得る。一方、SPADアレイ(複数可)は、1以上の照明スポットに関連する検出光を測定するために使用され得る。
感度調整は、検出器素子の飽和を回避または低減するのに役立つ。それにもかかわらず、いくつかの検出器素子が飽和してしまうことがある。このような場合には、アレイの他の検出器素子の同時に測定された光子計数率から外挿された別の値で、それらの測定された光子計数率を置換または調整することが有用であり得る。一実施形態では、制御デバイスは外挿を行うように構成されており、1以上の最も高い測定された光子計数率が、光子計数検出器素子の他のものの測定光子計数率から決定される外挿された光子計数率に置き換えられるまたは修正される。外挿は、予想される強度分布(またはそれに由来する特性、例えば、検出器素子の感度設定)を用いてもよい。例えば、予想される強度分布により、中央の検出器素子の光子計数率が特定の外側の検出器素子の平均光子計数率の10倍になると予測されるが、飽和により中央の検出器素子の測定された光子計数率が3倍にしかならない場合(異なる感度設定を考慮した後)、この測定された光子計数率は、外側の検出器素子の測定された光子計数率と、中央の検出器素子の光子計数率に対する予想される差(この場合は係数10)に基づいて、外挿された光子計数率に置き換えられ得る。関連する実施形態では、制御デバイスは、光子計数検出器素子に印加される過剰バイアス電圧に関連するキャリブレーションマトリクスに基づいて、外挿された光子計数率を決定するように構成される。この場合、外挿された値の算出にはキャリブレーションマトリクスの値が用いられる。
飽和の発生は、特定の検出器素子の光子計数率を外挿値で置き換えるかどうかの基準として使用され得る。飽和の発生を決定するための基準として、光子計数閾値を事前に定義することができ、測定された光子計数率が光子計数閾値を超える場合、それは外挿された光子計数率に置き換えられる。さらなる実施形態では、事前に定義された光子計数閾値のそのような使用は、飽和の発生とは別に見られ得る。例えば、飽和検出器素子で決定された測定された光子計数率を修正することは一般的に可能である(図3の曲線mを曲線m-corrに修正する矢印を参照)。したがって、SNRは、測定された光子計数率を外挿値に置き換えるかどうかの推進要因となり得る。光強度が飽和強度をわずかに上回っている場合でも、そのような測定された光子計数率のSNR(図3に示すように修正される)は、外挿値よりもさらに好ましい場合がある。したがって、上記の事前に定義された光子計数閾値は、独立しておよび/または飽和が始まる光子計数率よりも高く設定し得る。
上記の実施形態の変形例では、1つの検出器素子に対する外挿は、光子計数検出器素子の他の(同時に)測定された光子計数率を使用しないまたは使用するだけでなく、それは以前に取得された参照画像、およびキャリブレーションマトリクス/予想される強度変動に基づいてもよい。
さらなる変形では、計数値の外挿は、計数された事象の数を特定の検出器素子の感度調整と関連して設定して行われる。このようにして、一方では、感度分布を知ることで、検出器アレイに当たった光子の数を回収し得る。他方で、PSF分布が得られ、画像走査型顕微鏡の入力として使用され得る。制御デバイスは、測定された光子計数率を設定された感度で正規化することにより、検出されたPSF形状(すなわち、光が検出器アレイに入射する点広がり関数の形状)を回復するように構成され得る。(異なる検出器素子で同時に測定されたまたは検出器アレイで連続して測定された)光子計数率は、異なる感度で測定され得るので、特定の光子計数率が測定されるそれぞれの感度をその光子計数率の調整に使用する正規化計算が有利であり得る。
制御デバイスは、測定された各光子計数率がどのような影響を受けたかを考慮した上で、測定された光子計数率に基づいて画像を算出するように構成され得る。例えば、検体から両方の検出器素子に向かって同一の光強度が発せられた場合に、第1の検出器素子の測定可能な光子計数率をm、第2の検出器素子の測定可能な光子計数率をm=k*mとすると、第2の検出器素子の測定された光子計数率をkで割って、第1の検出器素子の測定された光子計数率と比較できる結果を得ることができる。
検出器アレイ上の予想される強度分布は、一般的に強度分布に関する任意の仮定として理解され得る。これは、アレイの検出器素子間の相対的な関係に関連していてもよいし、またはそれらの絶対値に関連していてもよい。予想される強度分布に基づいて検出器素子の感度を設定することは、検出器素子の動作電圧を異なるレベルに設定することと理解され得る。強度分布の予想は、必ずしも瞬間的に測定された検体点に固有のものである必要はなく、むしろ一般的な予想であってもよく、例えば、別の検体または別の検体点におけるPSFの参照測定または知識に基づくものであってもよい。
制御デバイスは、信号を測定し、検出器アレイを制御するためのFPGAなどの電子部品を含み得る。制御デバイスは、特に、単一ユニットまたは分散システムとして形成さ得る1以上のコンピュータまたは処理ユニットを含み得る。機能または制御デバイスは、ソフトウェアおよび/またはハードウェアとして実装され得る。特に、制御デバイスまたはその一部は、ネットワークを介して光学顕微鏡の他の構成要素と通信するサーバーまたはコンピュータアプリケーションを介して提供され得る。
検体点は、ピクセル滞留時間中に検出器素子が光子を計数する検体の一部として定義され得る。ピクセル滞留時間の経過後、スキャナは次の検体点として定義される検体の別の部分を照射する。
本明細書で「検体点」に言及している実施形態はまた、代わりに「標本領域」に適用するように変更され得、例えば、各検体点に対して個別にステップを実行する代わりに、それらのステップは、いくつかのの検体点の領域間でのみ異なり得るが、領域内の検体点については同一であり得る。
同様に、各検出器素子のステップを定義している実施形態でも、そのステップは、必ずしもすべての検出器素子ではなく、少なくともいくつかの検出器素子に適用されるように変更され得る。
よりわかりやすくするために、本開示では、検体上または検出器アレイ上の光分布を指すために、「光スポット」という表現を頻繁に使用する。より一般的な言い方をすれば、「光スポット」は、任意の他の光分布、例えば、リングパターン、1以上のラインまたはいくつかのスポットもしくはリングで置き換えられ得る。
記載された撮像方法は、例えば、材料分析、生産管理、エンターテインメントシステムのためにまたはライフサイエンスにおいて、大きなダイナミックレンジで光を正確に測定する必要がある光学顕微鏡またはその他の撮像システムで使用され得る。
本発明の光学顕微鏡の異なる実施形態の意図された使用は、本発明の方法の変種をもたらす。同様に、本発明の光学顕微鏡は、本発明の説明された例示的な方法を実行するように構成され得る。特に、制御デバイスは、本明細書で説明した方法ステップを実行するために、光学顕微鏡の他の構成要素を制御するように構成され得る。
本発明のより良い理解および他の様々な特徴と利点は、限定ではなく例示として示されている概略図面と合わせて以下の説明によって容易に明らかになるであろう。ここで、同様の参照数字は、同様のまたは実質的に同様の構成要素を指し得る。
本発明による光学顕微鏡の一実施形態を模式的に示す。 図1の光学顕微鏡の光子計数検出器アレイを模式的に示す。 光強度に対する1つの光子計数検出器素子の測定された光子計数率のグラフを示す。 1つの光子計数検出器素子の光強度に対するSNRのグラフを示す。 本発明の例示的な方法のステップを説明する。
発明の詳細な説明
図1は、本発明による光学顕微鏡100の一実施形態を模式的に示す。
光学顕微鏡100は、光源10から出射された照明光12を結合する照明ポート8を備える。光源10は、例えば、1以上のレーザーを含み得る。
例示的な光学顕微鏡100は、レーザー走査型顕微鏡として形成される。それは、照明光12を検体35上でスキャンするために、1以上の可動ミラーまたは他の可動光学素子を含むスキャナ25を備える。光学素子21、23、24、26および27は、光源10からスキャナ25を経由して照明光12を対物レンズ30に導くために用いられ得る。対物レンズ30は、照明光12を検体点に収集させ、スキャナ25により引き起こされるスキャン動作により、異なる検体点が連続して照明されることになる。
検体35は、例えば、蛍光光または燐光であり得る検出光15を発する。照明光12は、パルス状であってもよく、特に、検体35内の粒子の多光子励起をもたらし得る。検出光15は、それによって、小さな検体点からのみ放射され、照明光12とは異なる(特により小さい)波長を有する。
図示されたデスキャンされたセットアップでは、検出光15は、対物レンズ30、スキャナ25および光学素子27、26、24、23を介して、照明光12と同じビームパス上に導かれる。検出光15を照明光12から空間的に分離するために、ビームスプリッター22が使用される。一例として、ビームスプリッター22は、入射した光をその波長に応じて透過または反射するように構成され得る。そして、検出光15は、レンズまたはレンズグループ50を用いて、単一光子検出器アレイ60に集光される。共焦点設計のための1以上のピンホールが任意に設けられてもよい(図示せず)。
制御デバイス70は、単一光子検出器アレイ60、光源10およびスキャナ25を制御し、また、光学顕微鏡100のさらなる構成要素を制御するように構成され得る。単一光子検出器アレイ60、制御デバイス70、および任意のさらなる光学素子は、共同で光学アセンブリ90と呼ばれ得る。本実施形態では、光学アセンブリ90は光学顕微鏡100の一部であるが、一般的には、光学アセンブリ90は他の撮像システムでも使用され得る。
図2には、単一光子検出器アレイ60の拡大図が示される。これは、2次元アレイ、例えば、六角形または長方形の配列で互いに隣接して配置される複数の単一光子検出器素子61~64を含む。検出光15は、検出器アレイ60上に光スポット、またはより一般的には光分布を形成する。共焦点走査型顕微鏡の場合、スキャナ25が照明光12を検体35上でスキャンする間、検出器アレイ60上の光スポットは実質的に静止している。検出器アレイ60上の光スポットの光強度は、照明された検体点に応じて変化する。図2のリング15A~15Dは、検出器アレイ60上の照明分布を示す。光スポットは、中央の円15A内でその最大の強度を有してもよく、例えばガウス(Gaussian)プロファイルによって記述されるように、外側に向かって減少する強度を有してもよい。
検出器アレイ60は、検体面内の励起スポットに対して共役焦点面に配置される。検出器アレイ60の前にあるズーム光学系(図示せず)は、定義された数のエアリーユニット(AU)オーダーを検出器アレイ60に投影するために使用され得る。エアリーユニットは、検体面内の点光源によって引き起こされる検出光スポットであるエアリーディスクの直径として理解され得る(その上に対物レンズ30が焦点を合わせる)。図2に示すように、検出器素子61~64は、1.0AUよりも小さいサイズのピンホールを構成するのに十分なサイズと互いの距離を有しており、したがって、サブエアリー検出器素子と呼ばれる。このようにして、点拡がり関数の情報を求めることができ、いわゆる画像走査型顕微鏡が可能となる。
単一光子計数検出器素子61~64は、特に、SPAD(単一光子アバランシェダイオード)のアレイとして形成され得る。SPADは、低光量での感度が良く、応答速度も速い。それでも、ダイナミックレンジの改善が望まれる。図3を参照して説明したように、単一光子計数検出器素子または検出器アレイが出力する光子計数率mは、ある範囲内では実際に入射した光子の数(または強度I)に直線的に比例する。しかし、強度の増加に伴い、単一光子計数検出器素子(複数可)の飽和により、曲線m(I)は平坦になる。図3に曲線m-corrとして示されているように、大きな強度で平坦化された曲線m(I)を修正することは一般的に可能である。これは特に能動的クエンチされたSPADに当てはまる。これにより、ダイナミックレンジが広がる。しかし、強度に依存する信号対雑音比(SNR)への影響は、図4に曲線SNR-mとして示される。検出器アレイ60に入射する検出光15の低強度Iについては、強度Iの増加に伴ってSNRが増加し、これはI^(1/2)の比例関係に従い得る。しかし、検出器素子が飽和すると、測定された光子計数率が修正される得(図3に示すように)、その場合にはSNRが低下する。このように、SPADアレイ60のダイナミックレンジは拡大しても、従来の設計では高強度時のSNRがなおも懸念されている。特にこの問題は、本開示で取り組まれている。
検出器素子61~64のそれぞれは、調整可能な感度を有する。各検出器素子61~64の感度を互いに独立して調整することが可能であり得、または検出器素子のグループの感度を調整することが可能であり得る。感度を調整するために、それぞれの検出器素子61~64のダイオードにおける動作電圧VOPを制御デバイス70によって調整し得る。動作電圧VOPが検出器素子の降伏電圧をわずかに上回ると、低感度を構成し得る。降伏電圧よりもさらに上の動作電圧VOPの増加(すなわち、過剰バイアス電圧)は、感度の増加を構成する。検出器素子の感度または過剰バイアス電圧を調整すると、そのSNRの強度依存性が変化する。これを図4の曲線SNR-m2に示す。検出器素子の感度を下げることで、そのSNR曲線をSNR-mからSNR-m2へとシフトさせることができる。
特定の検出器素子に入射する強度IをI-opとすると、SNR(I)曲線がI-opでその最大となるような特定の感度を見つけて設定することが可能である。同様に、SNR(I)曲線がその最大となる値に入射光強度I-opを調整してもよい。図4の例では、そのSNR(I)曲線がSNR-mからSNR-m2にシフトするように検出器素子の感度を調整すると(図4の矢印で示すように)、Δ-SNRとして示されるSNRが改善される。
単一の出器素子61~64のSNRに対する効果は、検出器アレイ60にも同様に適用されるが、機能的な依存性は異なっている。検出器アレイ60の検出器素子61~64には、それぞれの検出器素子61~64が受ける強度に応じて、異なる感度を設定することが重要である。
SNRを最適化するためには、それぞれの検出器素子61~64によって測定される光子計数率が関連する。測定可能な光子計数率は、上述したように、検出器素子61~64の感度を調整することによって影響を受け得る。代替的または追加的に、制御ユニット70はまた、検出器素子61~64上の検出光強度分布を調整することによって、測定可能な光子計数率に影響を与え得る。例えば、検出光路にフィルタ40を配置してもよい。フィルタ40はまた、検出光整形デバイスまたは空間光変調器と呼ばれ得る。適応光学素子を含み得、断面上の強度分布を制御可能に調整するように構成され得る。このようにしても、SPAD素子61~64をそれらのそれぞれのSNR最大付近で動作させることができる。
よりわかりやすくするために、測定可能な光子計数率を制御することは、しばしば検出器素子の感度を調整することによって説明される。しかし、このような実施形態の変形例は、同様の結果を得るために、感度の代わりにフィルタ40を調整することによって形成される。
予想される強度分布は、検出器素子61~64の感度を設定するために、制御デバイス70によって使用され得る。予想される強度分布は、少なくとも部分的に、例えば、アレイ60の外側の検出器素子は中央の検出器素子よりも低い強度を受けると予想され、したがって、外側の検出器素子の感度は中央の検出器素子の感度よりも高く設定されるというように、較正測定を行わない仮定に基づいていてもよい。別のビームプロファイル、例えばリング状の照明が想定される場合には、中央の検出器素子の感度を、中央の検出器素子の周囲にリング状に配置された検出器素子の感度よりも高く設定し、リング状の照明のさらに外側にある外側の検出器素子の感度も、リング状に配置された検出器素子の感度よりも高く設定してもよい。
追加的にまたは代替的に、1以上の較正測定を使用して、予想される強度分布を決定してもよい。例えば、検体または別の試料での測定を参照測定として実施し得、検出器アレイ60上の強度分布を測定してもよい。参照測定は、図3および図4を参照して、飽和が生じない強度(参照強度)で実施されてもよい。検体画像を記録するための次の測定は、参照強度との強度差が既知である、別の(より高い)強度で実施されてもよい。参照測定中に測定された強度分布は、予想される強度分布の形状を確立するために使用され得、次いで、この強度分布は、上記の強度差から導かれる係数でスケーリングされる。したがって、各検出器素子61~64がそのSNR(I)の最大付近で動作するように、検出器素子61~64の感度を設定することが可能になる。例えば、各検出器素子61~64は、所定の強度I-opに対して、そのSNR(I)の最大から20%以下または10%以下の偏差内で動作してもよい。各検出器素子の感度設定、例えば、検出器素子のそれぞれのダイオードの動作電圧を含むキャリブレーションマトリクスが使用され得る。したがって、キャリブレーションマトリクスは、電圧値のリストを形成し得る。
図1に示した検体35のスキャン中に、検出光強度の変動を補償するために照明強度を調整してもよく、すなわち、検出光の発光がより強い検体点については、照明強度を下げ、その逆を行ってもよい。このようにして、特定のキャリブレーションマトリクスを、検体領域のスキャン全体にわたってまたは検体のスキャン全体にわたってでさえも使用することが可能である。
検出器素子61~64に設定される必要な感度差を小さくするために、照明光整形デバイス20および/または検出光整形デバイスまたはフィルタ40を使用してもよい。照明光整形デバイス20は、照明光12のビームパスに配置されており、照明光12の断面における強度の変動を低減するのに役立ち得る。同様に、検出光整形デバイス40は、検出光15の断面における強度の変動を低減するのに役立ち得る。光整形デバイス20および40は、1つの較正測定/較正測定で測定された検出器アレイ60上の強度変動を低減するように設定された適応光学素子(例えば、いわゆる空間光変調器)を含み得る。
本明細書に記載された光学顕微鏡100は、改善されたSNRで高いダイナミックレンジにわたる測定を可能にする。このような利点は、図1のデスキャンされた(descanned)共焦点走査型顕微鏡について説明されているが、光学顕微鏡および撮像技術の他の実施形態も、説明された利点から利益を得ることができる。例えば、図1の実施形態は、非デスキャンされたセットアップを形成するように変更されてもよく、または光学顕微鏡は、共焦点または走査原理を使用しなくてもよい。
図5は、キャリブレーションマトリクスを決定して適用する特定の場合における、本発明の方法の例示的な変形例のステップを示す。ステップS1では,単一光子検出器アレイを用いて参照測定を行い、各検出器素子が測定された光子計数率を出力する。ステップS2では、測定可能な光子計数率を制御するために、検出器素子の感度を個別に調整するために後で使用されるキャリブレーションマトリクスが決定される。キャリブレーションマトリクスは、各検出器素子に対する1つの感度調整値(例えば、SPAD動作電圧)を含み得る。各検出器素子の感度調整値は、S2でその検出器素子を用いて測定された光子計数率から、所定の式を用いて導出され得る。例えば、測定された光子計数率の増加に伴って感度が低下するように設定してもよい。言い換えれば、SPADの動作電圧または過剰電圧は、測定された光子計数率の増加とともに減少するように設定されてもよい。次に、ステップS3では、キャリブレーションマトリクスを用いて検出器素子の感度を個別に調整する検体測定を行う。ステップS4は、任意に実行され得る。S3で測定された光子計数率が予め定義された閾値(例えば、飽和閾値)を超えた場合、この測定された光子計数率は、さらに上述したように外挿された値で置き換えられてもよい。最後に、ステップS5では、ステップS3の光子計数率、場合によってはステップS4で修正された光子計数率がさらに処理されて、検体画像の表示に用いられる検体画像データが出力される。
上述したステップS1~S5は、特に、単一の検体点を検査するために使用され得る。走査型光学顕微鏡の場合には、ステップS1~S5に対する以下の変更を実施してもよい。変更されたステップS1では、試料の参照スキャンが実行され、検出器アレイによる参照測定がいくつかの検体点について実行される。これに続いて、変更されたステップS2では、異なる検体点または領域について複数のキャリブレーションマトリクスが決定される。変更されたステップS3では、試料のスキャンが実行され、その間、現在のスキャン位置に応じて、複数のキャリブレーションマトリクスが連続して使用される。その後、ステップS4は、上述したように続き得る。最後に、変更されたステップS5では、測定された光子計数率が処理されて、検体画像が出力される。このステップでは、特に優れた解像度の画像を得るために、エアリースキャンの技術に従って画像データが処理され得る。それぞれの検出器素子の光子計数率は、特にPSFの実際の形状を回復するために、それらのそれぞれ設定された感度で正規化され得る。
参照符号一覧
8 照明スポット
10 光源
12 照射光
15 検出光
15A~15D 検出器アレイ60の強度分布
20 照明光整形デバイス
21、23、24、26、27 光学素子
22 ビームスプリッター
25 スキャナ
30 対物レンズ
35 検体
40 検出光フィルタまたは検出光整形デバイス
50 レンズ
60 光子計数検出器アレイ
61~64 光子計数検出器素子
70 制御デバイス
90 光学アセンブリ
100 光学顕微鏡
m 測定された光子計数
m-corr 修正された測定された光子計数
SNR 信号対雑音比
SNR-m 曲線mの信号対雑音比
SNR-m2SNR 適合する検出器素子感度の場合
ΔSNR 検出器素子感度の変化によるSNRの差
I 検出器素子または検出器アレイ上の光強度
I-op 特定の検出光強度値
I-sat 飽和強度
S1~S5 方法のステップ

Claims (26)

  1. 検体(35)を照射するための光源(10)と、
    前記検体(35)からの検出光(15)を測定するための複数の光子計数検出器素子(61~64)を備える光子計数検出器アレイ(60)であって、
    前記光子計数検出器素子(61~64)が、それぞれ測定された光子計数率を出力するように構成されている光子計数検出器アレイ(60)と、
    前記光子計数検出器アレイ(60)を制御するための制御デバイス(70)と、を有し、
    前記制御デバイス(70)は、
    異なる光子計数検出器素子(61~64)で同時に測定可能である、および/または
    同じ光子計数検出器素子(61)で連続して測定可能である、
    測定可能な光子計数率に個別に影響を与えるように構成されていることを特徴とする、光学顕微鏡。
  2. 前記制御デバイス(70)は、前記光子計数検出器アレイ(60)の信号対雑音比が、特に、前記測定可能な光子計数率が個別に影響を受けない場合と比較して増加するように、異なる光子計数素子(61~64)からの前記測定可能な光子計数率に個別に影響を与えるように構成されている、請求項1に記載の光学顕微鏡。
  3. 前記制御デバイス(70)は、前記測定可能な光子計数率に個別に影響を与えるために、前記光子計数検出器アレイ(60)上の予想される強度分布を使用するように構成されている、請求項1または2に記載の光学顕微鏡。
  4. 前記制御デバイス(70)は、前記測定可能な光子計数率に個別に影響を与えるために、前記光子計数検出器素子(61~64)の感度を調整するように構成され、
    前記制御デバイス(70)は、前記光子計数検出器素子(61~64)のそれぞれに印加される過剰バイアス電圧を調整することによって、前記光子計数検出器素子(61~64)のそれぞれの前記感度を調整するように構成され、前記過剰バイアス電圧は、前記光子計数検出器素子(61~64)のそれぞれのダイオードに印加される電圧が前記ダイオードの降伏電圧を超える量を定義する、請求項1~3のいずれか1項に記載の光学顕微鏡。
  5. フィルタ(40)は、検出光路に配置され、前記検出光(15)の強度を調整するように構成され、
    前記フィルタ(40)は、特に、前記検出光(15)の前記強度をその断面にわたって調整するように構成された空間光変調器(40)であり、
    前記制御デバイス(70)は、前記測定可能な光子計数率に個別に影響を与えるために、前記フィルタを調整するように構成されている、請求項1~4のいずれか1項に記載の光学顕微鏡。
  6. 前記制御デバイス(70)は、以下を制御するように構成されている、請求項4または5に記載の光学顕微鏡。
    前記フィルタ(40)の断面にわたって前記検出光(15)の前記強度を調整するために構成された前記フィルタ(40)、または
    光子計数検出器素子(61~64)のそれぞれに衝突する光の予想される強度の増加に伴い、前記測定可能な光子計数率を低下させる感度。
  7. 照明光(12)を用いて前記検体(35)をスキャンし、前記検出光(15)を前記光子計数検出器アレイ(60)に向けるように構成されたスキャナ(25)であって、
    前記制御デバイス(70)が、前記予想される強度分布を決定するために、現在の検体点で測定された信号強度を使用するように構成されているスキャナ(25)をさらに有する、請求項1~6のいずれか1項に記載の光学顕微鏡。
  8. 前記制御デバイス(70)は、前記光子計数検出器アレイ(60)で取得した較正測定値に基づいて、前記予想される強度分布を決定するように構成されている、請求項3~7のいずれか1項に記載の光学顕微鏡。
  9. 前記制御デバイス(70)は、
    前記光子計数検出器素子(61~64)に異なる過剰バイアス電圧を割り当てるキャリブレーションマトリクスを使用して前記感度を設定し、
    前記感度を調整するために前記キャリブレーションマトリクスを使用した前記検体のスキャン時に使用されたものよりも低い照明光(12)の強度を使用したキャリブレーション測定から、前記キャリブレーションマトリクスを少なくとも部分的に導出するように構成されている、請求項3~8のいずれか1項に記載の光学顕微鏡。
  10. 前記制御デバイス(70)は、前記予想される強度分布に基づいて、前記光子計数検出器素子(61~64)の非線形応答領域内で測定された光子計数率を回避する前記光子計数検出器素子(61~64)の感度設定を決定するように構成されている、請求項3~9のいずれか1項に記載の光学顕微鏡。
  11. 前記検体(35)に入射する前に、照明光(12)の強度分布を均一化するための照明光整形デバイス(20)をさらに有する、請求項1~10のいずれか1項に記載の光学顕微鏡。
  12. 前記制御デバイス(70)は、
    いくつかの前記光子計数検出器素子(61~64)を1つのスーパーピクセルにグループ化し、
    任意で、前記光子計数検出器アレイ(60)上の前記予想される強度分布に応じて、同じスーパーピクセルの前記光子計数検出器素子(61~64)の間に異なる感度を設定し、
    各スーパーピクセルのそれぞれの測定値を出力する、ように構成されている、請求項1~11のいずれか1項に記載の光学顕微鏡。
  13. 前記制御デバイス(70)は、外挿を行うように構成され、
    1以上の最も高い測定された光子計数率が、前記予想される強度分布を用いて、前記光子計数検出器素子(61~64)の他のものの測定された光子計数率から決定された外挿された光子計数率によって修正される、請求項3~12のいずれか1項に記載の光学顕微鏡。
  14. 前記制御デバイス(70)は、前記光子計数検出器素子(61~64)に印加される前記過剰バイアス電圧に関連するキャリブレーションマトリクスに基づいて、外挿された光子計数率を決定するように構成されている、請求項13に記載の光学顕微鏡。
  15. 前記制御デバイス(70)は、測定された光子計数率を設定感度で正規化することにより、検出PSF形状を回復するように構成されている、請求項3~14のいずれか1項に記載の光学顕微鏡。
  16. 前記制御デバイス(70)は、測定された各光子計数率がどのような影響を受けたかを考慮した上で、前記測定された光子計数率に基づいて画像を算出するように構成されている、請求項1~15のいずれか1項に記載の光学顕微鏡。
  17. 前記光子計数検出器アレイ(60)は、前記光子計数検出器素子(61~64)が、隣接する光子計数検出器素子(61~64)間の中心間距離が1エアリーディスク(Airy disc)径よりも小さいサブエアリー(sub-Airy)検出器を構成するように配置されている、請求項1~16のいずれか1項に記載の光学顕微鏡。
  18. 前記光子計数検出器アレイ(60)上の検出光スポットの直径が、前記光子計数検出器アレイ(60)の直径に20%以内で対応するように、前記光子計数検出器アレイ(60)および前記光学顕微鏡の光学部品が配置されている、請求項1~17のいずれか1項に記載の光学顕微鏡。
  19. 前記制御デバイス(70)は、前記検体(35)のスキャンを実行するように前記スキャナ(25)を制御するように構成され、
    前記制御デバイス(70)は、前記検体の前記スキャン中に前記測定可能な光子計数率に影響を与えるために、照明光強度、前記フィルタ(40)、または前記感度を調整するようにさらに構成されている、請求項4~18のいずれか1項に記載の光学顕微鏡。
  20. 前記制御デバイス(70)は、
    前記検体の参照画像を取得し(35)、
    取得した前記参照画像から個々の検体点の予想される強度を決定し、
    前記測定可能な光子計数率に影響を与えるために、前記検体(35)の前記スキャン中に照明光強度、前記フィルタ(40)、または前記光子計数検出器素子(61~64)の前記感度を調整するために、前記予想される強度を使用するように構成される、請求項1~19のいずれか1項に記載の光学顕微鏡。
  21. 前記制御デバイス(70)は、同一スキャン中に取得した情報に基づいて、前記検体の前記スキャン中に前記感度、前記フィルタ(40)または前記照明光強度を調整することにより、オンザフライで適応するように構成されている、請求項19または20に記載の光学顕微鏡。
  22. 前記制御デバイス(70)および前記光学顕微鏡の光学素子は、パイロット光スポットおよび1以上の照明スポットが前記検体上で同時にスキャンされる多点照明用に構成され、前記1以上の照明スポットは、以前に前記パイロット光スポットでスキャンされた検体ポイント上でスキャンされ、
    前記制御デバイス(70)は、特定の検体点について前記パイロット光スポットで記録されたパイロット光スポット測定データを使用して以下を調整するように構成される、請求項1~21のいずれか1項に記載の光学顕微鏡。
    照明光(12)強度、
    空間光変調器(40)の断面にわたって前記検出光(15)の前記強度を調整するように構成された空間光変調器(40)、および/または
    前記1以上の照明スポットが前記パイロット光スポット測定データが記録されている対応する検体ポイントにある場合の前記1以上の照明スポットのための前記光子計数検出器素子(61~64)の前記感度。
  23. 前記パイロット光スポットに関連する検出光を測定するように配置された光電子増倍管をさらに有し、
    前記光子計数検出器素子(61~64)は、前記1以上の照明スポットに関連する検出光(15)を測定するように配置された単一光子アバランシェフォトダイオードである、請求項1~22のいずれか1項に記載の光学顕微鏡。
  24. 検体(35)を照明光(12)で照射することと、
    複数の光子計数検出器素子(61~64)を含む光子計数検出器アレイ(60)を用いて、前記検体(35)からの検出光(15)を測定することであって、前記光子計数検出器素子(61~64)はそれぞれの測定された光子計数率を出力することと、を含み、
    異なる光子計数検出器素子(61~64)で同時に測定される、および/または
    同じ光子計数検出器素子(61)で連続して測定される、
    前記測定可能な光子計数率に個別に影響を与えて、
    前記測定可能な光子計数率が個々に影響を受けない場合と比較して、前記光子計数検出器アレイ(60)の信号対雑音比が増加するようにすること、および
    測定可能な各光子計数率がどのような影響を受けたかを考慮した上で、前記測定された光子計数率に基づいて画像を算出すること、を特徴とする、撮像方法。
  25. 前記測定された光子計数に個別に影響を与えるステップは、以下の設定によって実行されることを特徴とする、請求項24に記載の撮像方法。
    照明光(12)強度もしくは分布、
    前記光子計数検出器素子(61~64)の感度、および/または
    フィルタ(40)の断面にわたって前記検出光(15)強度を空間的に調整するために構成されたフィルタ(40)。
  26. 前記信号対雑音比を増加させるために、各光子計数検出器素子(61~64)は、その信号対雑音比が、
    入射光強度の増加に伴って増加するまたはそのそれぞれの最大にある、
    応答領域で動作するように、前記測定可能な光子計数率が影響を受ける、ことを特徴とする、請求項24または25に記載の撮像方法。
JP2021540157A 2019-01-25 2019-01-25 光子計数検出器素子を備える光学顕微鏡および撮像方法 Active JP7365649B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/051927 WO2020151838A1 (en) 2019-01-25 2019-01-25 Light microscope with photon-counting detector elements and imaging method

Publications (2)

Publication Number Publication Date
JP2022527234A true JP2022527234A (ja) 2022-06-01
JP7365649B2 JP7365649B2 (ja) 2023-10-20

Family

ID=65363240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021540157A Active JP7365649B2 (ja) 2019-01-25 2019-01-25 光子計数検出器素子を備える光学顕微鏡および撮像方法

Country Status (4)

Country Link
US (1) US20220075171A1 (ja)
EP (1) EP3914950A1 (ja)
JP (1) JP7365649B2 (ja)
WO (1) WO2020151838A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433137A (zh) * 2020-11-10 2021-03-02 西安工程大学 硅光电倍增管的PDE和Pct空间二维分布的测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015492A (ja) * 2006-07-01 2008-01-24 Carl Zeiss Microimaging Gmbh 光信号の検出のための方法および装置
DE102016119730A1 (de) * 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Optikgruppe für Detektionslicht für ein Mikroskop, Verfahren zur Mikroskopie und Mikroskop

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616588B2 (ja) * 2009-04-16 2014-10-29 オリンパス株式会社 顕微鏡
DE102011107645A1 (de) * 2011-07-12 2013-01-17 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zum Detektieren von Licht
GB201311055D0 (en) * 2013-06-21 2013-08-07 St Microelectronics Res & Dev Single-photon avalanche diode and an array thereof
LU92664B1 (de) * 2015-02-24 2016-08-25 Leica Microsystems Vorrichtung und verfahren zum detektieren von licht
US9997551B2 (en) * 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
JP2018180016A (ja) * 2017-04-03 2018-11-15 オリンパス株式会社 光検出装置およびレーザ顕微鏡システム
DE102018127281A1 (de) * 2018-10-31 2020-04-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur Mikroskopie

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015492A (ja) * 2006-07-01 2008-01-24 Carl Zeiss Microimaging Gmbh 光信号の検出のための方法および装置
DE102016119730A1 (de) * 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Optikgruppe für Detektionslicht für ein Mikroskop, Verfahren zur Mikroskopie und Mikroskop

Also Published As

Publication number Publication date
US20220075171A1 (en) 2022-03-10
WO2020151838A1 (en) 2020-07-30
EP3914950A1 (en) 2021-12-01
JP7365649B2 (ja) 2023-10-20

Similar Documents

Publication Publication Date Title
US10234667B2 (en) Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
US11221472B2 (en) Optical group for detection light for a microscope, method for microscopy, and microscope
US8633430B2 (en) Method for generating images with an expanded dynamic range and optical device for carrying out such a method, in particular a laser scanner microscope
US8503076B2 (en) Apparatus for the detection of light in a scanning microscope
JP2017529559A (ja) 少なくとも2つの波長範囲を区別する高解像度走査型顕微鏡検査法
US11966036B2 (en) Light microscope and microscopy method
US20140097358A1 (en) Method and Apparatus for Imaging a Structure Marked with a Fluorescent Dye
US11487093B2 (en) Method for scanning microscopy and scanning microscope
EP4075180A1 (en) Method, device and computer program for determining a position of at least one emitter in a sample
US20120162754A1 (en) Pinhole for a Confocal Laser Scanning Microscope
JP2024028812A (ja) 再構成可能センサアレイを備えた光学顕微鏡
WO2006037248A1 (en) Combining photon counting and analog detection
JP7365649B2 (ja) 光子計数検出器素子を備える光学顕微鏡および撮像方法
US9927603B2 (en) Confocal scanning microscope, operating method for same and method for manipulating a sample
EP4189456A1 (en) Method and light microscope with a plurality of arrays of photon-counting detector elements
US11977216B2 (en) Light microscope and method of capturing images with a light microscope
KR101775615B1 (ko) 고감도 영상 획득방법
CN114442298A (zh) 用于捕获图像数据的设备和方法
KR20180062412A (ko) 광학현미경의 광 검출방법
WO2017037199A1 (en) A calibration device for two- or multi-photon absorption events and a method for calibrating a laser-scanning microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230929

R150 Certificate of patent or registration of utility model

Ref document number: 7365649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150