JP2018502325A - 物体の超解像度画像を取得するための撮像方法およびシステム - Google Patents

物体の超解像度画像を取得するための撮像方法およびシステム Download PDF

Info

Publication number
JP2018502325A
JP2018502325A JP2017533815A JP2017533815A JP2018502325A JP 2018502325 A JP2018502325 A JP 2018502325A JP 2017533815 A JP2017533815 A JP 2017533815A JP 2017533815 A JP2017533815 A JP 2017533815A JP 2018502325 A JP2018502325 A JP 2018502325A
Authority
JP
Japan
Prior art keywords
image
block
pixel values
super
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017533815A
Other languages
English (en)
Other versions
JP6706263B2 (ja
Inventor
ブリュノ・ホベール
アンドリュー・ギャル
ドミトリ・フロロフ
リエンク・ファン・グロンデレ
Original Assignee
コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ, コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ, サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）, サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） filed Critical コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
Publication of JP2018502325A publication Critical patent/JP2018502325A/ja
Application granted granted Critical
Publication of JP6706263B2 publication Critical patent/JP6706263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages

Abstract

物体を支えるための支持板(6)と、照明光線(14)を支持板の対象領域上に集束させるための照明光源(1)と、センサの行列を含むデジタルカメラ(9)とを含む光学顕微鏡(21)に基づき、デジタルカメラによって、対象領域の第1の画像を捕捉するステップと、第1の画像から、センサの行列の部分行列(B0)によって提供される画素値の第1のブロックを抽出するステップと、変位ブロックによって支持板を変位軸に沿って回折限界距離未満の距離だけ変位させるステップと、デジタルカメラによって、対象領域の第2の画像を捕捉するステップと、第2の画像から、センサの行列の部分行列(B0)によって提供される画素値の第2のブロックを抽出するステップと、画素値の第1および第2のブロックを超解像度画像において変位軸に対応する画像軸(X、Y)に沿って互いにすぐ隣に設置される画素値の第1および第2のブロックとして記憶するステップとを含む、物体(5)の超解像度画像(22)を取得するための方法。

Description

本発明は、概して、光学顕微鏡を使用して小さな物体の拡大像を生じることの分野に関する。
より詳しくは、本発明は、物体の画像を捕捉するように適合された光学顕微鏡に基づいて、物体の超解像度画像を取得するための撮像方法に関し、光学顕微鏡は、
物体を支えるための支持板と、
物体を照明するための照明光線を生じるように適合された照明光源と、
照明光線を支持板上に集束させるための光学素子であって、以下、対象領域と呼ばれる支持平面上の物体の区画が、集束させた照明光線によって現在照明されている、光学素子と、
対象領域の画像を捕捉するためのセンサの行列を含むデジタルカメラであって、各センサが、それぞれの画素値を提供する、デジタルカメラと、
互いに垂直である3つの軸x、y、zの中の少なくとも2つの変位軸に沿って集束させた照明光線に対して、かつデジタルカメラに対して、支持板を変位させるための変位ブロックであって、軸xおよびyが、支持板の平面を画定し、前記少なくとも2つの変位軸が、超解像度画像の2つの対応する直交する画像軸を画定する、変位ブロックとを含む。
光学顕微鏡の解像度は、隣接した詳細をはっきりと異なる別個のものとして示すことができる顕微鏡の能力に関係する。レンズの欠陥と関係なく、光学顕微鏡の解像度は、光の回折によって制限される。
実際、光の回折のため、点の画像は点ではなく、「エアリー円盤」または「点広がり関数」と呼ばれる、回折によって囲まれたぼやけた円盤として現れる。したがって、隣接しているがはっきりと異なる、物体の2つの点は、画像の点に対して2つのスポットを有し、その重なり合いにより、2つの画像点を区別することが妨げられることがある。その結果、詳細は解像されない。
アッベ回折限界によれば、回折限界として知られている光学顕微鏡による解像分離点の限界は、
として記載され、ここで、λは照明光源の波長であり、NAは、光学顕微鏡の対物レンズの開口数である。概して、従来の対物レンズにより取得することができる回折限界の最低値は、可視波長領域に対しておよそ150ナノメートル(nm)である。
回折限界的な光学系の単純な使用に許容される解像度よりも高い解像度を有する画像を生じるための既知のプロセス、例えば、誘導放出抑制顕微鏡法(STED)、空間構造化照明顕微鏡法(SSIM)、光活性化局在顕微鏡法(PALM)、確率的光学再構成顕微鏡法(STORM)がある。
そのような技法に関連する文書は、例えば、WO2013/153294 A1、または「Fluorescence microscopy with diffraction resolution barrier broken by stimulated emission」、Klarら、Proc Natl Acad Sci U S A. 2000 97、8206-8210である。
これらの技法における共通のテーマは、それらが回折限界を超える詳細を解像することができることであり、例えば、PALMにおいて、これは時間とともに順次蛍光体のスイッチを入れおよび切ることによって達成され、したがって、信号を連続して記録することができる。
あいにく、これらの超解像度方法は、高価な光学プラットフォームを購入する必要があり(例えばSTEDの場合100万ユーロを超える)、および/または顕著なポスト信号データ処理をさらに必要とし、両方ともほとんどの細胞生物学研究所の財源を上回る。
画像走査顕微鏡法(ISM)の現在の最新技術は、以下の出版物の概要において具現化することができる。
・ 点検出器の使用を論じるSheppard、Optik. 2013、80, 53-54、
・ CCDデバイスを使用するデータ収集の改善に対するMuller and Enderlein、Phys Rev Letts. 2010、104, 198101、および
・ 画素再配置を論じるMuller and Enderlein、Phys Rev Letts. 2010、104, 198101(Sheppardら、Optics Letts. 2013、38、2889-2892)。
そのような出版物は、データ取得およびポスト信号処理の間、CCD全体またはより小さい関心領域(ROI)が採用されるかどうかにかかわらず、検出の区域にわたって積分に具現化されるように数学的に集中的な手順を必要とする。
したがって、実装するのがより容易である超解像度撮像方法が必要とされる。
第1の態様によれば、本発明は、本明細書において上記に述べるように、物体の超解像度画像を取得するための撮像方法を提案し、前記方法は、次のステップの集合、
- デジタルカメラによって、集束させた照明光線によって現在照明されている対象領域の第1の画像を捕捉するステップと、
- 捕捉された第1の画像から、センサの行列の部分行列によって提供される画素値の第1のブロックを抽出するステップと、
- 画素値の第1のブロックを超解像度画像の画素値の第1のブロックとして記憶するステップと、
- 変位軸の1つに沿って変位ブロックによって支持板を回折限界距離未満の距離だけ変位させるステップと、
- デジタルカメによって、集束させた照明光線によって現在照明されている対象領域の第2の画像を捕捉するステップと、
- 捕捉された第2の画像から、センサの行列の部分行列によって提供される画素値の第2のブロックを抽出するステップと、
- 画素値の第2のブロックを超解像度画像の画素値の第2のブロックとして記憶するステップであって、画素値の第2のブロックが、前記1つの変位軸に対応する画像軸に沿って超解像度画像における画素値の第1のブロックのすぐ隣に設置される、記憶するステップと、を反復することを特徴とする。
上述の技法に対するわれわれの類似した方法は、制限された計算および処理を用いて物体の超解像度画像を得る簡単なやり方を提供する。
本発明のいくつかの実施形態によれば、物体で作られた超解像度画像を取得するための撮像方法は、以下の特徴をさらに含む。すなわち、
- 部分行列は、1つのみのセンサを含み、
- 行列のセンサは、センサが支持板上の集束させた照明光線の画像の一部を捕捉した場合のみ予備ステップにおいて部分行列のセンサとして選択され、
- 行列のセンサは、支持板上の集束させた照明光線の画像の一部を捕捉する行列のセンサの中の1つとして、予備ステップにおいて部分行列のセンサとして選択され、その画像が、最も焦点が合っており、
- 行列のセンサは、支持板上の集束させた照明光線の画像の一部を捕捉する行列のセンサの中の1つとして予備ステップにおいて部分行列のセンサとして選択され、その画像が、幾何学的に焦点が合っており、
- 方法は、隣接した蛍光体の重複する強度を個々の蛍光体に関連した画素値から除去するために(蛍光顕微鏡法を検討するとき)、超解像度画像の画素値に背景除去を適用し、かつ/または上限強度値の少なくとも1つの指定された範囲の外側にある画素値をトリミングするステップを含み、
- 物体は、少なくとも1つの蛍光源を含み、照明光源は、照明された物体から蛍光発光を発生させるための照明光線を生じるように適合され、デジタルカメラによって捕捉された対象領域の画像は、照明された物体によって発生された蛍光の画像であり、取得された超解像度画像は、超解像度蛍光画像である。
第2の態様によれば、本発明は、物体の超解像度画像を取得するためのシステムを提案し、撮像システムは、制御器と光学顕微鏡とを含み、光学顕微鏡は、
- 撮像される物体を支えるための支持板と、
- 物体を照明するための照明光線を生じるように適合された照明光源と、
- 照明光線を支持板上に集束させるための光学素子であって、以下、対象領域と呼ばれる支持平面上の物体の区画が、集束させた照明光線によって現在照明されている、光学素子と、
- 対象領域の画像を捕捉するためのセンサの行列を含むデジタルカメラであって、各センサが、それぞれの画素値を提供する、デジタルカメラと、
- 互いに垂直である3つの軸x、y、zの中の少なくとも2つの変位軸に沿って集束させた照明光線に対して、かつデジタルカメラに対して、支持板を変位させるための変位ブロックであって、軸xおよびyが、支持板の平面を画定し、前記少なくとも2つの変位軸が、超解像度画像の2つの対応する直交する画像軸を画定する、変位ブロックとを含み、
撮像システムは、制御器が、次の動作の集合、集束させた照明光線によって現在照明されている対象領域の第1の画像を捕捉するようにデジタルカメラに命令するステップと、捕捉された第1の画像から、センサの行列の部分行列によって提供される画素値の第1のブロックを抽出するステップと、画素値の第1のブロックを物体の超解像度画像の画素値の第1のブロックとして記憶するステップと、次いで、変位軸の1つに沿って支持板を回折限界距離未満の距離だけ変位させるように変位ブロックに命令するステップと、次いで、集束させた照明光線によって現在照明されている対象領域の第2の画像を捕捉するようにデジタルカメラに命令するステップと、捕捉された第2の画像から、センサの行列の部分行列によって提供される画素値の第2のブロックを抽出するステップと、画素値の第2のブロックを超解像度画像の画素値の第2のブロックとして記憶するステップであって、画素値の第2のブロックが、前記1つの変位軸に対応する画像軸に沿って超解像度画像における画素値の第1のブロックのすぐ隣に設置される、記憶するステップと、を反復するように適合されることを特徴とする。
本発明は、添付の図面の図において例により示され、限定により示されるのではなく、また、添付の図面の図において同じ符号は同様の要素を表す。
本発明の実施形態において物体の超解像度蛍光画像を取得するためのシステムの概略的側面図である。 試料を支持するプラットフォームの上面図である。 カメラのセンサ行列の底面図である。 本発明の実施形態により取得された超解像度画像の図である。 本発明の実施形態において物体の超解像度蛍光画像を取得するための方法のステップを表す図である。 通常の蛍光走査顕微鏡の概略図である。 通常の共焦点蛍光走査レーザ顕微鏡の概略図である。 本発明による蛍光走査顕微鏡の概略図である。 2つの単一点蛍光源の検出面における正規化された強度の断面を示す図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 STORM撮像(Wang、Science 2011. 333、1445-1449)と本発明による超解像度撮像技法との比較測定の例示的な図である。 核酸を染色するSybre(登録商標)Gold(Invitrogen)で標識された、15nmのより小さい変位サイズを用いて測定された大腸菌細胞の蛍光画像の例示的な図である。
異なる図に使用された同じ符号は、同様の参照された要素に対応する。
通常の蛍光走査顕微鏡法
通常の蛍光走査顕微鏡法(OFSM)では、レーザ光は、回折限界スポットの内側にある物体の蛍光を励起する回折限界スポット内に集束される。蛍光として放出された光は、光検出器によって収集される。次いで、レーザ光線は、通常、レーザ光線に対してx-y-(z)移動ステージを用いて試料を移動させることによって試料の表面を走査する。最終蛍光画像は、段階的に測定された蛍光強度から再構成される。OFSM技術設定の一般化されたスキームが図6に示され、試料平面31と、回折限界レーザスポット32と、フィルタ、キューブ、および/またはミラーなどの光学素子33と、検出面34と、検出面上の回折限界レーザスポットの画像35とを含む蛍光走査顕微鏡を示す。
試料平面上に2つの単一点(無限に小さい)蛍光源があり、光の波長が500nmであり、われわれのシステムの開口数(NA)が1.45であると仮定すると、それによって、理想的な状態におけるそのようなシステムの横方向分解能は、アッベ回折限界に基づいて、およそ176nm(0.51*500nm/1.45)に等しい。一般的な法則として、2つの独立した蛍光源によって放出された光は、コヒーレントにはならないことに留意されたい。これらの2つの物体によって検出面上に生じた画像は、よりずっと低い強度を有する周囲の同心円による2つの円形の光スポット(エアリーパターンと呼ばれる)を表す。したがって、これらの蛍光源のそれぞれは、中央の明るい部分と周囲の同心円状の輪とを含む単一点光源の典型的な回折画像を検出面上に生じる。
蛍光の主強度は、中央の明るい部分の内側に蓄積され、それは、概して、ガウス分布として名目上表すことができる。以下の説明において、同心円状の輪の影響は無視され、中央の部分だけが考慮に入れられる。さらに、しばしば使用されるように、OFSMの小さいサイズの検出器の場合、したがって、画像の主に中央の部分だけが、段階的蛍光画像の再構成のために収集される。
OFSMの場合の単一走査ステップのための収集された信号は、検出器に達する全蛍光信号の積分蛍光強度であり、その点を測定する。理想的な場合、それは回折画像の中央だけである。検討された仮定(500nmの光の波長、NA=1.45)において、および理想的な実験状態の下で、収集された信号の中央の部分の断面は、176nmの、最大の半分において全幅を有する(fwhm)ガウスとして表すことができる。したがって、今後の蛍光画像の単一点の全信号強度は、fwhw=176nmのガウス分布によって制限された信号である。これらの理想的な状態におけるシステムの解像度を決定するために、2つのガウス分布挙動を、それらがいつ個々の物体としてもう区別することができないかを決定するために確認することができる。
これを達成するために、重複するガウスの第2の導関数(より正確な方法である)を調べることができる。より単純化した方式において、蛍光信号の記録の領域がどのように重複するかを見ることができる。正常なOFSM顕微鏡は決して176nmの上記の理論的解像度に達しない(検出器が小型で、正しく位置決めされない限り)ことは直観で理解される。さらに、OFSMの記録状態に対する検出面上の2つの単一点光源の断面から、200nmの距離でもOFSMの理想的な場合に2つの単一点光源を解像する簡単なやり方がないことが分かる。
共焦点蛍光走査レーザ顕微鏡法
上述のOFSM顕微鏡法に対する共焦点蛍光走査レーザ顕微鏡法の主な相違は、エアリー円盤からの追加の輪の存在によるスペクトル汚染の部分を除去/ブロックする追加の小さいサイズのピンホールの挿入であり、したがって、検出器は、入射レーザ光線によって励起された蛍光の中央の部分だけを受け取る。一般的な法則として、1つのエアリーユニットに等しいピンホールを使用する場合に最良の解像度が得られる。
図6の顕微鏡と比較して追加のピンホール36を含み、それによって、回折限界レーザスポットの画像39を検出面34上に提供する概略的共焦点蛍光走査レーザ顕微鏡を図7に示す。図示するように、回折限界レーザスポットの画像39は、図6の顕微鏡を用いて得られた回折限界レーザスポットの画像35の区画だけである。
1つのエアリーユニットピンホールを光路に挿入して(ピンホールが大きければ大きいほど結果として得られる画質および解像度は低くなる)OFSMによって観察されたときの2つの単一点蛍光源の上述の例を、次にそのようなOFSMに関して再検討する。信号の記録された強度は、主にバー間で制限された積分強度区域であり、その場合、バー間の距離はfwhmに等しい。したがって、OFSMと対照的に、200nm離れている2つの単一点蛍光源は、1エアリーユニットピンホールにより共焦点形態において容易に解像可能であるはずである。したがって、理論的予測解像度を達成することができる。
本発明による超解像度顕微鏡法
本発明はさらに数歩先を行く。
i)画像再構成には、検出面上の回折限界スポットの中央区域内に配置され、検出面上の回折限界スポットよりも小さい単一画素(または画素の単一ブロック)が使用される。
ii)(フラットな)背景は、実施形態において除去される。したがって、画素の幾何学的光軸内にある物体から発する蛍光信号の大部分(蛍光顕微鏡法を検討するとき)は、画像再構成に使用される。
これらの2つのステップを採用して、顕著により高い解像度が達成され、複雑なデータ取得方法およびそれに続く分析手順の使用を避ける。1つの画素が画像再構成に利用可能であるだけでなく、いくつかの画素を成功裏に使用することができ、平均化に利用可能なシフトされた画像を生じることは明らかである。さらに、あらゆる画素が調査中の3次元物体内の異なる幾何学点において探索するので、単一走査からの3次元画像復元の可能性が存在する。最終画像を再構成するのに使用される検出面34における回折限界レーザスポットの画像35の内側に単一画素37を示し、試料平面31上に検出器の画素37の幾何学的投影38も示す、本発明による概略的顕微鏡を示す技術設定の一般化されたスキームを図8に示す。
さらに、顕著に正確で小さいステップで走査することが必須である。しかし、ステップサイズは、われわれが平均化(必要な補正により)のために複数の画素から取得された画像を使用する場合、相対的に大きいことがあり、したがって、全体の走査をより高速にすることができる。
例えば、蛍光顕微鏡法の例における上述の場合を検討し、2つの単一点蛍光源に対する検出面における正規化された強度の断面を示す図9を参照すると、約50nm(本明細書では円形であると仮定する)および30%フラットな背景除去の「検出器」画素サイズを適用することによって、100nmの距離にある蛍光の2つの単一点光源を解像することが可能である。より大きな背景除去がしばしばより良いが、常に信号対雑音比との取引である。より小さい画素サイズは、より低い背景除去サイズならびにより良い解像度および信号対雑音比をもたらす。
したがって、本発明は、他の超解像度撮像技法に類似しているがそれらに基づいてはいない。
本発明は、他の周知の技法に匹敵する高倍率の下で超解像度画像を取得することができる。
本発明は、試料の倍率の値にかかわらず、任意の画像の解像度を増加させることができる。したがって、本発明は、これまで高解像度撮像に適切ではないと考えられていた低倍率で画像を向上させることができる。
以下に、本発明の特定の実施形態を説明する。
本発明の実施形態において物体の超解像度蛍光画像を取得するためのシステム20を図1に概略的に表す。
システム20は光学顕微鏡21を含む。
光学顕微鏡21は、照明光源1と、空間フィルタ2と、ダイクロイックミラー3と、対物レンズ4と、プラットフォーム6と、吸収フィルタ7と、例えば色収差補正用などのレンズの組合せ8と、デジタルカメラ9とを含む。
任意選択で、光学顕微鏡21は、光フィルタ1aをさらに含む。
光学顕微鏡21は、例えば、Nikon Ti Eclipse(登録商標)など、蛍光画像を捕捉するのに通常使用される顕微鏡であり得る。
システム20は、制御器10と動きブロック11とをさらに含む。
撮像される試料5は、標準カバースリップに、またはプラットフォーム6上の試料ホルダーによって堅く固定される他の適切な支持体に接着される。
プラットフォーム6上の試料の表面は、直交する軸x、yによって画定された平面上にある。
プラットフォーム6上の試料の上面図を図2に表す。
古典的な蛍光撮像によれば、極めて小さい蛍光源、例えば、1つの光子の蛍光物理現象に基づく蛍光体が試料5に付着されている。これらの蛍光源は、試料に固有であり得る。
照明光源波長は、付着蛍光源から蛍光を誘導するように選ばれる。蛍光源は、照明光源によって明るくされたとき、照明光源の波長のエネルギーを吸収し、波長が照明光源の波長よりも高い蛍光を放出する。
制御器10は、変位コマンドを定義するように適合され、変位コマンドを動きブロック11に提供する。
変位コマンドは、試料5の所定の関心領域(ROI)の関数として制御器10によって定義される。変位コマンドは、プラットフォーム6を変位させるように動きブロック11に命令し、zが軸x、yに対して垂直な軸である、軸x、y、zに沿って、命令された変位を指定する。
制御器10は、捕捉コマンドをデジタルカメラ9に送ることによってデジタルカメラ9による画像の捕捉を作動させるようにさらに適合され、制御器10は、以下に詳述するように、デジタルカメラ9によって捕捉された連続する蛍光画像から試料のROIの超解像度画像を構成するように適合される。
実施形態において、制御器10は、マイクロプロセッサとメモリ(表示せず)とを含む。メモリは、マイクロプロセッサによって実行されたとき、制御器10の動作を生じるソフトウェア命令10を記憶する。
デジタルカメラ9は、例えば、センサの2次元(2D)行列を含み、各センサは、決定された時間の間、局部蛍光強度を検出するように適合される。
デジタルカメラ9は、制御器10から捕捉コマンドを受け取り次第、画像を捕捉するように適合される。
デジタルカメラ9が照明光源1によって現在照明されている資料の画像を捕捉しているとき、各センサは、それぞれの局部蛍光強度を検出し、次いで、カメラ9は、各センサに対応する各画素に対して、センサによって検出された局部蛍光強度の関数としてそれぞれの画素強度を決定する。
次いで、デジタルカメラ9は、画素の行列から構成された画像を提供するように適合される(画素の行列における画素の位置は、センサの行列における対応するセンサの位置と同じである)。
図3は、カメラ9のセンサ行列の底面図を表す。センサ行列は、軸xに平行のセンサのL行と、軸yに平行のセンサのl列とを有する。図3のこの図は、カメラ9によって捕捉された画像のL×l画素の行列を表すものともみなされ、ここで、lは軸xに対応する画像次元Xに沿った行列のサイズであり、Lは軸yに対応する画像次元Yに沿った行列のサイズである。
動きブロック11は、変位コマンドを制御器10から受け取るように、および命令された変位を定義するそのようなコマンドを受け取り次第、命令された変位だけプラットフォーム6を移動させるように適合される。
光学顕微鏡21の動作を以下に説明する。
照明光源1は単色光を放出する。
必要ならば、試料からの蛍光が関与する波長の関数として(励起波長)、放出された光は、放出された光から、励起波長と異なる波長を排斥するために任意選択のLASER(Light Amplification by Stimulated Emission of Radiation:輻射の誘導放出による光増幅)フィルタ1aによって取り除かれる。
光の視準は、空間フィルタ2の使用によって得られる。
このようにして視準された入射光の励起光線は、プラットフォーム6によって支持された試料5上に集束回折限界スポット14を生じるために、ダイクロイックミラー3(周知のように、ダイクロイックミラー3は、励起光線をプラットフォーム6上に当たらせ、蛍光をデジタルカメラ9に反射させる)を通過し、対物レンズ4を通過する。
スポット14によって覆われた資料5の区域によって放出された蛍光は、対物レンズ4を介して入射光路に沿って戻り、対物レンズ4は、試料画像をダイクロイックミラー3に対して拡大し、対象の蛍光波長だけを保持する吸収フィルタ7まで前方へと継続する。
(任意選択の)レンズの組合せ8は、カメラセンサ行列9上に提供された蛍光をさらに拡大する。
カメラ9のセンサ行列は、スポット14内の試料区域によって放出された蛍光がセンサ行列に向かって収集されるようにスポット14に対して位置決めされる。
周知のように、蛍光測定は、入射光のパルスが試料に到達することを必要とする。これはシャッター(図示せず)を光源1の出口に設置することによって得られる。
撮像される試料表面は、z軸において焦点が合っていなければならない。
そのような焦点は、例えば、対物レンズ4に取り付けられた圧電デバイスによって、または制御器10によって動きブロック11に対してプラットフォーム6の軸zに沿った変位を命令することによって、予備的に得られる。
実施形態において、一定強度(連続波-CW)かまたはパルス状かのいずれかのLASERが照明光源1として使用される。
実施形態において、蛍光用の対物レンズ4の倍率は、デジタルカメラ、および必要に応じレンズの組合せ8のズームの仕様によって画定される範囲にある。
デジタルカメラ9は、例えば、2D検出器、例えば、(電子増倍)電荷結合素子((EM)CCD)タイプ、またはCMOS(相補型金属酸化膜半導体)である。2D検出器は、必要であれば、1D検出器または点検出器で置き換えることができる。この後者の場合、B0は、以下に記載する説明においてl×Lに等しい。
Lおよびlの数は、例えば、[128, 512]の範囲にある。
実施形態において、各EMCCDの画素は、s×sμm2の正方形であり、ここで、sは[6μm, 15μm]の範囲にある。
例えば、NA=1.45の対物レンズを使用するとき、平面(x,y)におけるスポット14の直径は、[150nm, 350nm]の範囲にある。
本明細書におけるこれらの上記の値は、もちろん例としてのみ示され、使用するカメラのタイプによる。
実施形態において、照明光源の組合せは、視準された光線がダイクロイックミラー3に到達するときすべて同じ軌道を有するように使用することができる。レーザ光線の異なる極性による任意の潜在的な人工産物を除去するために、それらはダイクロイックミラー3に対して極性がなくされた入射である。まず、すべてのレーザ光線の極性は、直線偏光子1bによって同じ方向に向けられる。次に、色収差補正偏光解消子1cに結合された円偏光子の組立品1cが、空間フィルタ2の直後に光路内に挿入される。あるいは、波長とレーザ出力パワーとの組合せがあまりに異なる場合、各レーザ光線は、偏光解消子1cに到達する前にそれ自体の空間フィルタ2を有する。光線は、このようにして、空間フィルタ2の後に収束する。完全に極性がなくされた光線の使用が必要であると考えられていない場合、この選択肢は、光路から除去することができ、空間フィルタ2だけが残る。
本発明の実施形態によれば、以下のステップがシステム20に基づいて実装される。
検討される実施形態において、スポット14は、本発明による超解像度画像の構成の間、カメラ9に対して移動しない。
第1のステップ101において、センサのブロックB0がカメラ9のl×Lセンサの中で選ばれる。B0の内側のセンサの数nは、l×Lよりも真に小さい。
ブロックB0のセンサは、センサ行列において正方形を形成する。
ブロックB0のセンサは、任意の形状(正方形、長方形、楕円形、線形アレイ、単一点など)であり得るセンサ行列を形成する。ここに至って、われわれはブロックB0が寸法nの正方形である場合を検討するものとする。
例えば、nは1に等しく、または適切とみなされる任意の他のサイズに等しい。nの値は、例えば、4、16、25よりも小さい。
センサのブロックB0は、センサのブロックB0に対応する画素のブロックが、任意の捕捉された画像におけるスポット14の、図3にAとして参照された画像の内側に配置されるようにさらに選ばれる。すなわち、センサのブロックB0に対応する画素のブロックのサイズは、回折スポット14の画像のサイズよりも小さい(センサのブロックB0に対応する画素のブロックは、実際、回折スポット14の画像の内側にある)。
以下において、n=1が検討される。B0は、センサの行列の(n0, m0)センサだけ、すなわち、センサの行列における位置(n0,m0)のセンサだけを含む。
ステップ102において、試料5のROIが画定され、例えば、ROIは図2の上面図の平面における長方形O1、O2、O3、O4によって画定され、このROIの画定は制御器10に提供される。
例えば、ROIは、原核生物全体の境界を示し、またはより大きい生体試料5において小さい細胞以下の構造、アクチンフィラメント参照、の境界を示す。
以下dと呼ばれる距離ステップの値が定義される。例えば、dは操作者によって選ばれる。
dの値は光学顕微鏡21の回折限界よりも真に小さい。
ここで、λは照明光源1の波長であり、NAは対物レンズ4におけるレンズの開口数である。
例えば、回折限界が200nmである場合、dは[15nm, 50nm]の範囲で選ばれる。
次いで、制御器10が、以下に詳述するように、反復されるステップ103および104においてROIの初期点から軸xに沿って、または軸yに沿って、距離dのステップごとのROIの順次走査を命令する。
最初に、プラットフォーム6の初期変位が、制御器10によってプラットフォーム6の現在位置に対して決定される。
検討される実施形態において、プラットフォーム6の初期変位は、初めに集束回折限界スポット14を点O1上に向けるために制御器10によって決定される。
変位コマンドが制御器10によって動きブロック11に提供され、決定された初期変位を示す。
この変位コマンドを受け取り次第、プラットフォーム6は、スポット14が点O1を覆うように動きブロックによって位置決めされる。
ステップ103の第1の反復において、制御器10は、カメラ9に画像コマンドを送ることによって画像の捕捉を作動させ、スポット14が点O1を覆う。
この捕捉コマンドを受け取り次第、カメラ9は、現在センサ行列によって収集されている蛍光の関数として画像を捕捉する。
制御器10は、捕捉された画像から、この第1の反復においてB0に対応する画素のブロックを抽出する。したがって、検討される実施形態において、それは(n0,m0)センサに対応する画素P(n0,m0)(すなわち、画素の行列における位置(n0,m0)の画素)の強度を抽出する。
この抽出された強度は、Int(n0,m0)1,1と呼ばれる。
強度Int(n0,m0)1,1は、図4を参照して超解像度画像22の画素の行列における位置(1,1)の画素の強度として記憶される。
次いで、ステップ104の第1の反復において、制御器10は、スポット14が[O2, O3]によって画定されるROIの限界の方向にxに沿ってプラットフォーム6上の試料5に対して変位されるように、動きブロック11に対して、現在位置から軸xに沿ったdの変位を命令する。
また、動きブロック11は、変位コマンドを受け取り次第、受け取った変位コマンドによりプラットフォーム6を変位させる。
次いで、ステップ103の第2の反復において、制御器10は、カメラ9に画像コマンドを送ることによって画像の捕捉を作動させる。
この捕捉コマンドを受け取り次第、カメラ9は、(軸xに沿ってO1から距離dだけ移された試料の区域から放出された)現在センサ行列によって収集されている蛍光の関数として画像を捕捉する。
制御器10は、捕捉された画像から、ステップ103のこの第2の反復においてB0に対応する画素のブロックを抽出し、したがって、検討される実施形態において、それは(n0,m0)センサに対応する画素P(n0,m0)の強度を抽出する。
この強度はInt(n0,m0)1,2と呼ばれる。
強度Int(n0,m0)1,2は、図4を参照して、超解像度画像22の画素の行列における位置(1,2)の画素の強度として記憶される。
超解像度画像22において、この画素は、軸Xにより、前に記憶された強度Int(n0,m0)1,1の画素に隣接する。
次いで、ステップ104の第2の反復において、制御器10は、スポット14が(O2, O3)によって画定されるROIの限界の方向にxに沿って、プラットフォーム6上の試料5に対して変位されるように、動きブロックに対して、現在位置から軸xに沿ったdの変位を命令する。
また、動きブロック11は、変位コマンドを受け取り次第、受け取った変位コマンドによりプラットフォーム6を変位させる。
ステップ103および104の群は、N番目の反復まで軸xに沿って反復され、プラットフォームは、スポット14が点O2に向くような位置にある。
ステップ103のN番目の反復において、画素P(n0,m0)の強度Int(n0,m0)1,Nは、超解像度画像22の画素の行列における位置(1,N)の画素の強度として記憶される。超解像度画像22において、この画素は、軸Xにより、前に記憶された強度Int(n0,m0)1,N-1の画素に隣接する。
制御器10は、ステップ104のN番目の反復において軸xに沿ったROIの限界に達したことを検出したので、制御器10は、スポット14が(O3, O4)によって画定されるROIの限界の方向にyに沿ってプラットフォーム6上の試料5に対してO2から変位されるように、動きブロック11に対して、現在位置から今度は軸yに沿ったdの変位コマンドを命令する。
また、動きブロック11は、変位コマンドを受け取り次第、受け取った変位コマンドによりプラットフォーム6を変位させる。
次いで、ステップ103のN+1番目の反復において、画素P(n0,m0)の強度Int(n0,m0)2,Nは、超解像度画像22の画素の行列における位置(2,N)の画素の強度として記憶される。
超解像度画像22において、この画素は、軸Yにより、前に記憶された強度Int(n0,m0)1,Nの画素に隣接する。
次いで、ステップ104のN+1番目の反復において、スポット14が(O1, O4)によって画定されるROIの限界の方向にxに沿ってプラットフォーム6上の試料5に対して変位されるように現在位置から軸xに沿ったdの変位が、制御器10によって動きブロック11に対して命令される。
また、動きブロック11は、変位コマンドを受け取り次第、受け取った変位コマンドによりプラットフォーム6を変位させる。
ステップ103および104の群の連続する反復が適用され、スポット14をdのステップによって軸xに沿ってROIの辺(O1, O4)に向かって変位させ、したがって、Int(n0,m0)2,Nからステップ103の2N番目の反復において達したInt(n0,m0)2,1まで超解像度画像22の画素の第2の行を構成する。
次いで、ステップ104の2N番目の反復において、本明細書における以下の説明と同様に、次いで、制御器10は、軸xに沿ったROIの限界に達したことを検出し、したがって、ステップ104の2N番目の反復において、制御器10は、スポット14が(O3, O4)によって画定されるROIの限界の方向にyに沿って現在位置から変位されるように、動きブロック11に対して、現在位置から軸yに沿ったdの変位コマンドを命令する。
また、動きブロック11は、変位コマンドを受け取り次第、受け取った変位コマンドによりプラットフォーム6を変位させる。
また、同様の反復が、それぞれ距離dの連続する変位によってすべてのROIがスポット14によって走査されるまで処理される。
ROIが長方形である、検討される場合において、結果として得られる超解像度画像22は、画素のM行とN列とを含み、
および
であり、ここで、Eは「整数部分」の関数であり、
は、2つの点PとP'との間の距離を提供する関数である。
しかし、他の実施形態において、ROIは、様々な形状を有することができ、制御器10は、全ROIを走査し、このROIに対する超解像度画像を構成するように適合される。
実施形態において、平面(x,y)における回折変位未満の変位による走査および本発明による連続する抽出された画素ブロックによる超解像度画像の構成は、収集された場合、各平面zに対して繰り返される(すなわち、試料を通る連続する層に対して、このようにして、3D超解像度画像を構成する)。
本明細書において以下に、提供された超解像度画像は、軸xおよびyによって画定される平面における走査に対応する。別の実施形態において、超解像度画像の走査および構成は、軸xおよびzによって、または軸yおよびzによって画定される平面において達成される。次いで、回折変位未満の変位は、本明細書において以下に説明するように、軸xおよびyではなく、検討された軸xおよびzまたはyおよびzに沿って達成される。
本明細書において以下に開示する詳細な実施形態において、ブロックB0における数nは、1に等しいとみなされた。
nが1よりも大きい場合、プロセスは同様である。
したがって、第1の画像および第2の画像が連続するステップ103において捕捉されたとき、第1の画像に対するプラットフォーム6の位置は、第2の画像に対するプラットフォーム6の位置から軸x(それぞれy)に沿った方向に回折限界よりも小さい変位dだけ離され、超解像度画像は、画素の第1のブロックを含み、画素の第1のブロックが、第1の画像におけるnセンサのブロックB0に対応する画素のブロックである。また、超解像度画像は、軸X(それぞれY)に沿った方向に画素の第1のブロックに隣接して、画素の第2のブロックをさらに含み、画素の第2のブロックは、第2の画像においてnセンサなどのブロックB0に対応する画素のブロックである。超解像度画像は、各々の回折変位未満の変位の後、ブロックB0によって連続して捕捉された画素のブロックによって構成される。いくつかの実施形態において、一連の画像が収集され、蛍光画像が記載通りに(ステップ103〜104)再構成された後、必要であれば(フラットな)背景を除去する他のステップが実装される。次いで、実施形態において、蛍光画像のデータ(蛍光顕微鏡法を検討するとき)が、上部蛍光強度値の指定された範囲だけがプロットされるようにトリミングされる。これにより、蛍光信号の重複を隣接する放出体から除去/低減することによって個々の蛍光体をより良く区別することが可能になる。
明確にするために、われわれは、取得プロトコル(ステップ103〜104)から再構成された蛍光画像が、0(最小)から1(最大)までの正規化された強度の範囲を有するとみなす。最も簡単な場合には、単純な背景を除去することができる(例えば、超解像度画像の各2D部分画像に対して、実施形態において、非蛍光区域から取得された画像から推定される背景雑音強度の推定)は、2D部分画像の画素強度まで減算される。次いで、結果として得られる蛍光画像を1からX%に縮小することができ、ここで、Xは1よりも小さいユーザ定義の正規化された強度の値を表す。X%未満の強度値はゼロに等しい値で置き換えられ、X%超の強度値Vは、(1-X%)Vに変換される。
これは結果として再構成された信号の上位X%(例えば、30%)だけを表すプロットとなり、その場合、図9に示す例の場合のように、異なる蛍光体が互いを大きく妨害しないとみなされる。背景の除去、特にXの値は、対象の各試料に特有である。そのような値は予備段階で推定される。
あるいは、一連の正規化された強度のスライスを1からXa、XaからXb、XbからXcなどにわたって再生することができ、ここで、a、b、cなどはユーザ定義の強度値を表す。
本明細書において以下に詳述する実施形態において検討される試料は、生体試料であるが、試料は別の実施形態において非生体であり得る。
本明細書において以下に説明する実施形態によれば、撮像される試料は、視準された光の固定光線に対して、かつ固定カメラに対して移動される。しかし、別の実施形態において、試料は固定され、その動きは、視準された光線と固定カメラとの組立品に適用される。
変位は、段階的な動きによって、または一定の動きによって適用することができる。
実施形態において、ブロックB0のサイズnを所与として、ステップ101におけるブロックB0のセンサが以下のやり方により選ばれる。試料5は、スポット14が蛍光ビーズを含む試料5の(または蛍光ビーズを含む異なる試験試料が使用される)試験区域上に向けられるように変位される。画像がカメラ9によって捕捉される。スポット14の画像の内側のn画素のすべてのブロックによって提供される画像の区画は、信号の品質を調べることによって、最も焦点が合っている区画を決定するために、および、例えば、既知の試料の蛍光特性を参照して分析される。しばしば、蛍光強度の完璧に近いガウス分布を提供する(合計されなかったとき)蛍光マイクロスフェア(およそ50から2000nmの間の明確な直径を有する)が、最も焦点が合っている区画を決定するのに使用される。次いで、最良の焦点を有する画素のブロックに対応するセンサのブロックが、ブロックB0として選ばれる。
この処置(disposition)は、超解像度画像を損なう任意の追加の散乱光を防止する。
超解像度画像の品質は、試料5の蛍光源が結果として放出の個別光源となる場合改善され、それほど一点に集中されないので結果として蛍光強度の一面の広がりとなる。
本発明による方法は、大腸菌(E.)細胞において蛍光体GFP(緑色蛍光タンパク質)で標識されている試料として、DNA結合タンパクであるH-nSタンパク質に適用された。本発明結果により得られた画像は、Wangら、Science (2011) 333、1445-1449に発表された結果によるSTORMと呼ばれる超解像度技法を使用して取得された画像と比較して優れた解像度を提示する。
例示として、図10〜図15により、H-NS-GFP融合を観察するとき、本発明により取得された画像の性能をSTORM画像と比較し、2つの焦点を生体細胞に形成することが可能になる。
これらの図の簡単な説明を行ってから、実行された経験を説明し、本発明により取得された画像の性能とSTORM画像とを比較する。
図10は、Wangら(2011)からの、GPFで標識された大腸菌細胞の再構成されたSTORM画像である。STORM画像は、古典的な共焦点蛍光画像上に重ね合せられる。したがって、正方形は、EMCCDカメラ(Ixon DV897DCS-BV、Andor)の画素である。外形は細菌性細胞の限界を表す。2つの非常に強い補間スポットは、GFP標識H-NSタンパク質の場所を表す。
図11は、本発明に使用されるEMCCDカメラ(Ixon 987 Ultra、Andor)によって捕捉されたGFPで標識された大腸菌細胞の古典的な共焦点蛍光画像である。正方形はEMCCDカメラの画素に対応する。本発明に使用されるカメラの画素サイズは、STORM画像(図10)のカメラの画素サイズと同じである。したがって、本発明による共焦点蛍光画像は、Wangら(2011)による論文に表された共焦点蛍光画像と同様である。
図12は、古典的な共焦点蛍光画像上に重ね合せられた本発明を使用するGPFで標識された大腸菌細胞の再構成された画像である。正方形は、われわれの発明による50nmの単位(すなわち、変位増分)を表す。2つの非常に強いスポットは、顕著な信号強度情報を含み、GFP標識H-NSタンパク質の空間分布を表す。細菌性細胞の外形は、明確に観察することができる。(a)および(b)は、特に図13における古典的な共焦点蛍光画像と比較されたとき、ヒストグラムが信号情報、図14および図15参照、の強化を強調するためにプロットされている位置である。
図13は、EMCCDカメラ(Ixon 987 Ultra、Andor)によって捕捉されたGFPで標識された大腸菌細胞の古典的な共焦点蛍光画像である。x、y座標は、カメラ画素位置(この場合、512×512アレイ)として示される。黒い十字線は、強度断面の位置(ヒストグラム)を示す。CCDにおける強度がカウントされる。スケールバーは500nmである。
図14は、図12における断面(a)から明らかなように本発明を使用して得られた空間解像度および信号対雑音の概要である。x、y単位は、ナノメートルで表され、図では観察されない原点に対する。ヒストグラムにおけるデータは、補間されていなくて、本明細書に説明する撮像方法からの出力を表し、この場合、XおよびY平面において50nmの変位距離である。
図15は、図12における断面(b)から明らかなように本発明を使用して得られた空間解像度および信号対雑音の概要である。x、y単位は、ナノメートルで表され、図では観察されない原点に対する。ヒストグラムにおけるデータは、補間されていなくて、本明細書に説明する撮像方法からの出力を表し、この場合、XおよびY平面において50nmの変位距離である。
図10は、Wangらによって取得された対応する画像を示す。図11は、H-NS-GFPを表す大腸菌の明視野像を示し、図12は、本発明を用いて取得された超解像度蛍光画像を表す。H-NS-GFPを表す大腸菌MG1655Z1の培養物が採取され、細胞はリン酸緩衝生理食塩水中で洗浄され、ホルムアルデヒドで凝固させ(Sigma、Saint-Louis、USA)、次いで、間に挟まれたアガロース(Invitrogen、Carlsbad、USA)ベッド上にガラスカバースリップまで層状にされた(Xiaoら、2007、in Single Molecule technics: A laboratory Manual、P. Selvin、T.Ha、Eds. 5cold Spring Harbor Laboratory Prees、pp149-170)。488nmの励起波長がOBISレーザ(Coherent、Les Ulis、France)によって提供され、蛍光データが、100×CFI Plan Apochromat対物レンズが取り付けられたNikon-Ti顕微鏡に装着され、EMCCDカメラ(Ixon 987 Ultra、Andor)に結合された59904-ET-488/561nm Laser Dual Band Set(Chroma Technology Corporation、Bellows Falls、USA)を用いて収集された。個々の画像が、20msの捕捉時間で記録され、再構成された画像が本明細書に説明するように作成された。
画像の縮尺比は同じである。これにより、定性的比較を実行することが可能である。図を検討するとき、本発明の方法を用いて両方の焦点を離すことは視覚的により容易であるようである。
図13から図15により、図11と図12との間の定量的比較が可能になる。例えば、解像度は、2つの配光を区別することができる能力によって定義されると仮定すると、最大強度の半分であるとき、両方の配光はまだ区別でき、本発明の方法の解像度は、2つの焦点を区別するのに十分であり、図11による方法の解像度は、2つの焦点を区別するのに十分ではない。
これは本発明の方法がより良好な解像度を提供することを実験的に示す。
図16は、本発明に説明する機器によってどの画像を上記の例の解像度よりも優れた解像度で生じることができるかを示す。画像は、総核酸含有量を示すために染色された大腸菌細胞である。
より正確には、図16は、核酸(DNAおよびRNA)の検出のためにSYBR(登録商標)gold(Invitrogen)で染色された大腸菌MG1655Z1細胞の蛍光画像である。細胞は、2つの主な場所から明らかなように、細胞分裂を行っている。ヒストグラムは直交する線に沿って蛍光強度を表す。画像およびヒストグラムにおけるデータは、補間されていなくて、本明細書に説明する撮像方法からの出力を表す。XおよびY平面に15nmの変位距離を有するわれわれの発明によれば、再構成された画像における各画素は、15nm×15nmの単位サイズを表す。
結果として得られるXY(Z)画像の解像度は、回折限界未満の機械的変位の増分d、ならびに2D検出器の画素サイズによる。例えば、40nmより優れた解像度は、Donnertら、Proc Natl Acad Sci U S A. 2006、103、11440-11445によって明らかにされているように、以下のハードウェア、すなわち、光学顕微鏡(21)-Nikon Ti;対物レンズ(4)-Nikon 100x CFI Plan Apochromat;変位ブロック(11)-Physik Instrumente;ナノポジショニングステージP-733およびデジタルカメラ(9)-Andor iXon Ultra 897を用いて488nmの励起波長で取得することができる。
本発明のこの実施形態による超解像度は、通常の落射蛍光顕微鏡(振動のない環境に設置される)を、古典的な蛍光顕微鏡法と同じ実験状態の下の高精度移動プラットフォームと、および画像を再構成するために適正なソフトウェアと結合することによって、基本的に達成される。したがって、それは非常に大きな数の研究所に超解像度でアクセスすることを可能にする。
特定の実施形態を蛍光顕微鏡法に関して本明細書において上記に説明してきた。
もちろん、本発明は、異なるタイプの顕微鏡法、例えば、透過、散乱、または吸収顕微鏡法に基づいて超解像度画像を生じるのに実装可能である。
そのような場合に、ステップii)は、焦点外放出体および/または散乱体の影響を最小にすることが意図された背景の除去として解釈することができる。
蛍光顕微鏡法において、照明光(励起波長)および捕捉光(放出波長)は、同じではなく、透過、T、顕微鏡法および吸収、A、顕微鏡法において、それらは同一である。光を透過することができる能力は、吸光度、Aを単位として表され、通常、
として書かれ、ここで、IおよびI0は、それぞれ照明光(入射放射線と称される)および捕捉光(透過放射線と称される)の強度(単位面積当たりのパワー)と定義される。散乱顕微鏡法において、照明光は、物体によって反射され(弾性的にまたは非弾性的に)、捕捉光として2D検出器によって記録される。
したがって、本発明により、2(x,y)、または3(x,y,z)次元で回折長未満の変位を用いてアッベ回折限界の有効解像度よりも優れた有効解像度を有する試料の画像を取得することが可能となり、研究対象の物体は、集束光源を用いて照明される。データ取得の間、研究対象の試料は、xy(z)ステージ上に収容され、xy(z)ステージは、視準された光の固定光線に対して移動する。あるいは、xy(z)ステージは、xおよびy軸において固定することができ、レーザ光線は、共振走査ミラーなどの補償光学を用いて研究対象の物体を走査する。
本発明は、単色放射の集束回折限界スポット内から放出された光の不均一分布を利用する。
1 照明光源
1a 光フィルタ
1b 直線偏光子
1c 色収差補正偏光解消子
2 空間フィルタ
3 ダイクロイックミラー
4 対物レンズ
5 試料
6 プラットフォーム
7 吸収フィルタ
8 レンズの組合せ
9 デジタルカメラ
10 制御器
11 動きブロック、変位ブロック
14 収束回折限界スポット、集束させた照明光線
20 システム
21 光学顕微鏡
31 試料平面
32 回折限界レーザスポット
33 光学素子
34 検出面
35 回折限界レーザスポットの画像
36 ピンホール
37 単一画素
38 画素37の幾何学的投影38
39 回折限界レーザスポットの画像

Claims (12)

  1. 光学顕微鏡(21)および変位ブロック(11)に基づいて物体(5)の超解像度画像(22)を取得するための撮像方法であって、前記光学顕微鏡(21)が、前記物体(5)の画像を捕捉するように適合され、前記光学顕微鏡(21)が、
    ・ 前記物体(5)を支えるための支持板(6)と、
    ・ 前記物体(5)を照明するための照明光線を生じるように適合された照明光源(1)と、
    ・ 前記照明光線を前記支持板上に集束させるための光学素子(4)であって、以下、対象領域と呼ばれる支持平面上の前記物体の区画が、前記集束させた照明光線(14)によって現在照明されている、光学素子(4)と、
    ・ 前記対象領域の画像を捕捉するためのセンサの行列を含むデジタルカメラ(9)であって、各センサが、それぞれの画素値を提供する、デジタルカメラ(9)とを含み、
    前記変位ブロック(11)が、互いに垂直である3つの軸x、y、zの中の少なくとも2つの変位軸に沿って前記集束させた照明光線に対して、かつ前記デジタルカメラ(9)に対して、前記支持板(6)を変位させるように適合され、前記軸xおよびyが、前記支持板(6)の平面を画定し、前記少なくとも2つの変位軸(x、y)が、前記超解像度画像(22)の2つの対応する直交する画像軸(X、Y)を画定し、前記方法が、次のステップの集合、
    - 前記デジタルカメラ(9)によって、前記集束させた照明光線(14)によって現在照明されている前記対象領域の第1の画像を捕捉するステップであって、前記対象領域の前記第1の画像が、前記対象領域の回折スポット画像に対応する、捕捉するステップと、
    - 前記捕捉された第1の画像から、センサの前記行列の部分行列(B0)によって提供される画素値の第1のブロックを抽出するステップであって、センサの前記行列の前記部分行列(B0)が、前記部分行列(B0)が前記対象領域の前記回折スポット画像の内側に配置されるように選ばれる、抽出するステップと、
    - 画素値の前記第1のブロックを前記超解像度画像の画素値の第1のブロックとして記憶するステップと、
    - 前記変位ブロック(11)によって前記支持板(6)を前記変位軸の1つに沿って回折限界距離未満の距離だけ変位させるステップと、
    - 前記デジタルカメラ(9)によって、前記集束させた照明光線(14)によって現在照明されている前記対象領域の第2の画像を捕捉するステップであって、前記対象領域の前記第2の画像が、前記対象領域の前記回折スポット画像に対応する、捕捉するステップと、
    - 前記捕捉された第2の画像から、センサの前記行列の前記部分行列(B0)によって提供される画素値の第2のブロックを抽出するステップと、
    - 画素値の前記第2のブロックを前記超解像度画像の画素値の第2のブロックとして記憶するステップであって、画素値の前記第2のブロックが、前記1つの変位軸(x、y)に対応する前記画像軸(X、Y)に沿って前記超解像度画像における画素値の前記第1のブロックのすぐ隣に配置される、記憶するステップと、を反復することを特徴とする方法。
  2. 前記部分行列(B0)が、1つのみのセンサを備える、請求項1に記載の撮像方法。
  3. 前記行列のセンサが、前記センサが前記支持板(6)上の前記集束させた照明光線(14)の前記画像の一部を捕捉する場合のみ予備ステップにおいて前記部分行列(B0)のセンサとして選択される、請求項1または2に記載の撮像方法。
  4. 前記行列の前記センサが、前記支持板上の前記集束させた照明光線(14)の前記画像の一部を捕捉する前記行列の前記センサの中の1つとして、予備ステップにおいて前記部分行列(B0)のセンサとして選択され、前記画像が、幾何学的に焦点が合っている、請求項3に記載の撮像方法。
  5. - 個々の蛍光発光する、透過する、散乱する、または吸収する物体に関連した前記画素値から、隣接する蛍光発光する、透過する、散乱するまたは吸収する物体の重複する強度を除去するために、背景除去を前記超解像度画像の前記画素値に適用し、かつ/または上限強度値の少なくとも1つの指定された範囲の外側にある前記画素値をトリミングするステップを含む、請求項1から4のいずれか一項に記載の撮像方法。
  6. 前記物体が、少なくとも1つの蛍光、透過、散乱または吸収光源を含み、前記照明光源(1)が、前記照明された物体から、蛍光、透過、散乱または吸収を発生させるために照明光線を生じるように適合され、前記デジタルカメラ(9)によって捕捉された前記対象領域の前記画像が、前記照明された物体によって発生された前記蛍光、透過、散乱、または吸収の画像であり、前記取得された超解像度画像が、超解像度蛍光、透過、散乱または吸収画像である、請求項1から5のいずれか一項に記載の撮像方法。
  7. 物体(5)の超解像度画像(22)を取得するための撮像システム(20)であって、制御器(10)と、光学顕微鏡(21)と、変位ブロック(11)とを含み、前記光学顕微鏡(21)が、
    - 撮像される前記物体(5)を支えるための支持板(6)と、
    - 前記物体(5)を照明するための照明光線を生じるように適合された照明光源(1)と、
    - 前記照明光線を前記支持板(6)上に集束させるための光学素子(4)であって、以下、対象領域と呼ばれる支持平面上の前記物体の区画が、前記集束させた照明光線(14)によって現在照明されている、光学素子(4)と、
    - 前記対象領域の画像を捕捉するためのセンサの行列を含むデジタルカメラ(9)であって、各センサが、それぞれの画素値を提供する、デジタルカメラ(9)とを含み、
    前記変位ブロック(11)が、互いに垂直である3つの軸x、y、zの中の少なくとも2つの変位軸に沿って、前記集束させた照明光線に対して、かつ前記デジタルカメラに対して、前記支持板を変位させるように適合され、前記軸xおよびyが、前記支持板の平面を画定し、前記少なくとも2つの変位軸(x、y)が、前記超解像度画像(22)の2つの対応する直交する画像軸を画定し、
    前記制御器(10)が、次の動作の集合、
    - 前記集束させた照明光線(14)によって現在照明されている前記対象領域の第1の画像を捕捉するように前記デジタルカメラ(9)に命令するステップであって、前記対象領域の前記第1の画像が、前記対象領域の回折スポット画像に対応する、命令するステップと、
    - 前記捕捉された第1の画像から、センサの前記行列の部分行列(B0)によって提供される画素値の第1のブロックを抽出するステップであって、センサの前記行列の前記部分行列(B0)が、前記部分行列(B0)が前記対象領域の前記回折スポット画像の内側に配置されるように選ばれる、抽出するステップと、
    - 画素値の前記第1のブロックを前記物体の超解像度画像の画素値の第1のブロックとして記憶するステップと、
    - 前記支持板(6)を変位軸の1つに沿って回折限界距離未満の距離だけ変位させるように前記変位ブロック(11)に命令するステップと、
    - 前記集束させた照明光線(14)によって現在照明されている前記対象領域の第2の画像を捕捉するように前記デジタルカメラ(9)に命令するステップと、
    - 前記捕捉された第2の画像から、センサの前記行列の前記部分行列(B0)によって提供される画素値の第2のブロックを抽出するステップであって、前記対象領域の前記第2の画像が、前記対象領域の前記回折スポット画像に対応する、抽出するステップと、
    - 画素値の前記第2のブロックを前記超解像度画像の画素値の第2のブロックとして記憶するステップであって、画素値の前記第2のブロックが、前記1つの変位軸(x、y)に対応する前記画像軸(X、Y)に沿って前記超解像度画像における画素値の前記第1のブロックのすぐ隣に配置される、記憶するステップと、を反復するように適合されることを特徴とする前記撮像システム(20)。
  8. 前記部分行列(B0)が、1つのみのセンサを備える、請求項7に記載の撮像システム。
  9. 前記制御器(10)が、前記センサが前記支持板(6)上の前記集束させた照明光線(14)の前記画像の一部を捕捉する場合のみ、前記行列のセンサを前記部分行列(B0)のセンサとして選択するように適合される、請求項7または8に記載の撮像システム。
  10. 前記制御器(10)が、前記支持板(6)上の前記集束させた照明光線(14)の前記画像の一部を捕捉する前記行列の前記センサの中の1つとして、予備ステップにおいて前記行列のセンサを前記部分行列(B0)のセンサとして選択するように適合され、前記画像が最も焦点が合っている、請求項9に記載の撮像システム。
  11. 前記制御器(10)が、個々の蛍光発光する、透過する、散乱するまたは吸収する物体に関連した前記画素値から、隣接する蛍光発光する、透過する、散乱するまたは吸収する物体の重複する強度を除去するために、背景除去を前記超解像度画像の前記画素値に適用し、かつ/または上限強度値の少なくとも1つの指定された範囲の外側にある前記画素値をトリミングするように適合される、請求項7から10のいずれか一項に記載の撮像システム。
  12. 少なくとも1つの蛍光、透過、散乱または吸収光源を含む物体(5)を撮像するように、かつ超解像度蛍光、透過、散乱または吸収画像を取得するように適合され、前記照明光源(1)が、前記照明された物体から、蛍光、透過、散乱または吸収を発生させるために照明光線を生じるように適合され、前記デジタルカメラ(9)によって捕捉された前記対象領域の前記画像が、前記照明された物体によって発生された前記蛍光、透過、散乱または吸収の画像である、請求項7から11のいずれか一項に記載の撮像システム。
JP2017533815A 2014-12-23 2015-12-23 物体の超解像度画像を取得するための撮像方法およびシステム Active JP6706263B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14307179.3A EP3037861A1 (en) 2014-12-23 2014-12-23 Imaging method, and system, for obtaining an super-resolution image of an object
EP14307179.3 2014-12-23
PCT/EP2015/081220 WO2016102700A1 (en) 2014-12-23 2015-12-23 Imaging method, and system, for obtaining a super-resolution image of an object

Publications (2)

Publication Number Publication Date
JP2018502325A true JP2018502325A (ja) 2018-01-25
JP6706263B2 JP6706263B2 (ja) 2020-06-03

Family

ID=52423546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017533815A Active JP6706263B2 (ja) 2014-12-23 2015-12-23 物体の超解像度画像を取得するための撮像方法およびシステム

Country Status (6)

Country Link
US (1) US10527837B2 (ja)
EP (2) EP3037861A1 (ja)
JP (1) JP6706263B2 (ja)
KR (1) KR102461745B1 (ja)
CN (1) CN107209357B (ja)
WO (1) WO2016102700A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2549298B (en) * 2016-04-12 2022-02-02 Univ I Tromsoe Norges Arktiske Univ Super-resolution imaging
JP2019520596A (ja) * 2016-06-21 2019-07-18 イラミーナ インコーポレーテッド 超解像顕微鏡法
CN107015353B (zh) * 2017-03-07 2019-12-13 中国科学院化学研究所 多色受激辐射耗尽超分辨成像装置、方法及光学显微镜
CN107678154B (zh) * 2017-10-25 2020-06-09 首都师范大学 一种超分辨率显微ct成像系统
NL2020619B1 (en) 2018-01-16 2019-07-25 Illumina Inc Dual optical grating slide structured illumination imaging
KR102085755B1 (ko) * 2018-04-03 2020-03-06 재단법인대구경북과학기술원 시냅스 영상 촬영 장치 및 그의 구동 방법
CN109633883B (zh) * 2019-01-23 2021-01-01 浙江大学 一种大视场高分辨的荧光显微镜物镜
CN110082898A (zh) * 2019-04-24 2019-08-02 中国科学院自动化研究所 荧光显微镜镜头及荧光显微镜
CN110187356B (zh) * 2019-06-14 2021-07-09 中国科学技术大学 远距离超分辨单光子成像重构方法
CN110955039B (zh) * 2019-11-15 2022-10-14 上海安翰医疗技术有限公司 相差显微成像系统及其成像方法
CN111474150B (zh) * 2020-04-08 2022-03-22 华南师范大学 一种sted超分辨图像背景噪声差分抑制方法
CN113155755B (zh) * 2021-03-31 2022-05-24 中国科学院长春光学精密机械与物理研究所 微透镜阵列型成像光谱仪在线标定方法
CN113534435B (zh) * 2021-07-08 2024-03-26 南京泰立瑞信息科技有限公司 一种景深控制型超分辨率显微数字成像方法及系统
CN113504635B (zh) * 2021-07-08 2024-03-26 南京泰立瑞信息科技有限公司 一种透射式超分辨率显微数字成像方法及系统
CN113450259A (zh) * 2021-08-31 2021-09-28 深圳百胜扬工业电子商务平台发展有限公司 一种微图像观测处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030227611A1 (en) * 2002-06-10 2003-12-11 Howard Fein Microdissection optical system
JP2004514920A (ja) * 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2009264752A (ja) * 2008-04-21 2009-11-12 Hayashi Soken:Kk 三次元画像取得装置
JP2010503847A (ja) * 2006-09-14 2010-02-04 オックスフォード・ジーン・テクノロジー・アイピー・リミテッド 単一分子を撮像する装置
JP2013109119A (ja) * 2011-11-21 2013-06-06 Nikon Corp 顕微鏡制御装置およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6180415B1 (en) * 1997-02-20 2001-01-30 The Regents Of The University Of California Plasmon resonant particles, methods and apparatus
JP5310773B2 (ja) * 2011-04-15 2013-10-09 パナソニック株式会社 有機ｅｌディスプレイの製造方法
JP6000554B2 (ja) 2012-01-24 2016-09-28 オリンパス株式会社 顕微鏡システム
EP4220194A1 (fr) 2012-04-13 2023-08-02 Bioaxial SAS Procede et dispositif optique
CN102928384A (zh) * 2012-10-24 2013-02-13 浙江大学 基于微波导的超分辨显微成像方法和装置
CN103473751B (zh) 2013-08-14 2016-06-01 西安理工大学 基于多目标的cmos传感器细胞图像超分辨率重构方法
CN104122662B (zh) 2014-08-15 2017-01-18 北京大学 一种超高密度超分辨光学闪烁显微成像系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514920A (ja) * 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
US20030227611A1 (en) * 2002-06-10 2003-12-11 Howard Fein Microdissection optical system
JP2010503847A (ja) * 2006-09-14 2010-02-04 オックスフォード・ジーン・テクノロジー・アイピー・リミテッド 単一分子を撮像する装置
JP2009264752A (ja) * 2008-04-21 2009-11-12 Hayashi Soken:Kk 三次元画像取得装置
JP2013109119A (ja) * 2011-11-21 2013-06-06 Nikon Corp 顕微鏡制御装置およびプログラム

Also Published As

Publication number Publication date
KR20170099985A (ko) 2017-09-01
CN107209357B (zh) 2020-01-21
KR102461745B1 (ko) 2022-10-31
US20170351080A1 (en) 2017-12-07
EP3037861A1 (en) 2016-06-29
CN107209357A (zh) 2017-09-26
EP3237948A1 (en) 2017-11-01
EP3237948B1 (en) 2023-07-12
JP6706263B2 (ja) 2020-06-03
US10527837B2 (en) 2020-01-07
WO2016102700A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6706263B2 (ja) 物体の超解像度画像を取得するための撮像方法およびシステム
JP6208157B2 (ja) 高分解能走査顕微鏡
JP6771490B2 (ja) 共焦点レーザ走査顕微鏡を使用した蛍光走査顕微鏡法の信号の評価
JP6596001B2 (ja) 多焦点多光子イメージングシステム及び方法
JP2017529559A (ja) 少なくとも２つの波長範囲を区別する高解像度走査型顕微鏡検査法
EP3742216A1 (en) Optical arrangement for oblique plane microscopy
JP6573757B2 (ja) 高分解能走査顕微鏡
JP5823287B2 (ja) 分解能の向上したルミネセンス顕微鏡
CN111512207B (zh) 使用荧光显微镜利用受激发射损耗对样本成像的方法
JP2007538289A (ja) 共焦点励起平面を有した広視野多光子顕微鏡のための方法およびシステム
US10247930B2 (en) Resolution enhancement for line scanning excitation microscopy systems and methods
US11449964B2 (en) Image reconstruction method, device and microscopic imaging device
US20220137388A1 (en) Device and method for rapid three-dimensional capture of image data
CA2978123A1 (en) Real time multichannel sted microscopy system
JP2006275964A (ja) 走査型蛍光顕微鏡のシェーディング補正方法
US10649188B2 (en) High-resolution spectrally selective scanning microscopy of a sample
WO2020088997A2 (de) Mikroskop und verfahren zur mikroskopie
CN107478628A (zh) 一种基于光子重组的双光子荧光显微方法及装置
JP2010271522A (ja) 非線形光学顕微鏡
CN114442298A (zh) 用于捕获图像数据的设备和方法
Koschan et al. Improving 3D Reconstruction from STEM Data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200515

R150 Certificate of patent or registration of utility model

Ref document number: 6706263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250