JP2016507078A - 被写界深度3dイメージングslm顕微鏡 - Google Patents

被写界深度3dイメージングslm顕微鏡 Download PDF

Info

Publication number
JP2016507078A
JP2016507078A JP2015555381A JP2015555381A JP2016507078A JP 2016507078 A JP2016507078 A JP 2016507078A JP 2015555381 A JP2015555381 A JP 2015555381A JP 2015555381 A JP2015555381 A JP 2015555381A JP 2016507078 A JP2016507078 A JP 2016507078A
Authority
JP
Japan
Prior art keywords
sample
configuration
exemplary
accessible medium
transitory computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015555381A
Other languages
English (en)
Inventor
ラファエル ユステ
ラファエル ユステ
シーン アルバート キーリン
シーン アルバート キーリン
ダーシー エス ペテルカ
ダーシー エス ペテルカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Columbia University of New York
Original Assignee
Columbia University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Columbia University of New York filed Critical Columbia University of New York
Publication of JP2016507078A publication Critical patent/JP2016507078A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light

Abstract

空間光変調器(SLM)顕微鏡法は、試料内に局在する複数のターゲットに同時に問い合わせを行うように顕微鏡からの試料照射パターンをカスタマイズすることができる。例示的SLM顕微鏡構成を使用して、例えば拡張被写界深度計算イメージングシステムを用いることによって、例えば任意の3D座標にあるターゲット位置をイメージングすることができる。マルチサイト3次元ターゲティング及びセンシングは、透明及び散乱媒質の両方で使用することができる。そのために、試料の少なくとも一部分の少なくとも1つの画像を生成するためのシステム、方法及びコンピュータアクセス可能媒体の例示的実施形態を提供することができる。例えば、コンピュータハードウェア構成が設けられてもよい。このような例示的構成は、光学的アドレス指定(例えば回折)構成によって以前に操作された後に試料によって変更された光に関連する情報を受信するように構成され得る。このような例示的コンピュータハードウェア構成は、この情報に基づいて1つ又は複数の画像を生成することもできる。

Description

関連出願の相互参照
本出願は、2013年1月25日出願の米国特許出願第61/756,803号明細書及び2013年3月15日出願の米国特許出願第61/798,747号明細書に基づくものであり、それらの優先権を主張する。これらの出願の開示全体が、参照により本明細書に援用される。
本開示は、一般に顕微鏡法に関し、より詳細には、構造化した光照射を利用した拡張被写界深度(「DOF」)イメージングのための例示的システム、方法、及びコンピュータアクセス可能媒体に関する。
分子プローブの増大する多様性により、生体系における局所環境からの機能特性の動的測定を光信号の時間変調に符号化することができる。例には、カルシウムイメージングにおけるニューロンからの活動電位の蛍光符号化(例えば、参考文献1及び2を参照)、Ph感度(例えば、参考文献3を参照)及び電圧感度(例えば、参考文献4を参照)が含まれ得る。しかしながら、既存のイメージング及びセンシング方法が直面する一般的問題には、光毒性/光退色の傾向、不十分な時間又は空間分解能、高散乱材料に埋め込まれた場合の信号の損失、及び高フレームレート3次元イメージングの解決策の欠如が含まれ得る。
神経科学領域の光学システム規格のベンチマーク例には、マウスの皮質内のニューロンの皮質柱が含まれ得る。ネットワーク化されたニューロン活動の細胞間コミュニケーションの研究は、高速なボリュームベースのデータ取得から恩恵を受け得る。空間領域規格は、個々の体細胞(例えば、約10μm)を分解するために必要とされ得る分解能を維持しながら、約1mmのイメージングボリュームを含み得る。活動電位に関連するカルシウム過渡事象を分解するための時間領域規格は、30Hzを超えるボリュームベースのデータ取得を含み得る。しかしながら現在のところ、この種のイメージングに対する光学的解決策は、多数の技術が光学的解決策を実現しようと試みてきたにもかかわらず存在しない。(例えば、参考文献5、6、7、8、9、10、11、12及び13を参照)。
従って、(i)ターゲティングが行われた照射パターンを使用することによって光曝露を減少させる、(ii)時間分解能と空間分解能との間のトレードオフを切り離すことによって時間分解能を向上させる、(iii)二光子照射を用いることによって散乱媒質においてイメージングする、及び(iv)試料全体の多くの空間的位置からの光信号の同時測定を提供することができる、並びに上記課題の少なくとも幾つかを克服できる例示的光システムを提供することは有益となり得る。
本開示のこれら及び他の目的は、試料の1つ又は複数の部分の少なくとも1つの画像を生成するための例示的システム、方法、及びコンピュータアクセス可能の提供により達成することができる。
このために、試料内に局在する複数のターゲットに同時に問い合わせを行うように顕微鏡からの試料照射パターンをカスタマイズできる空間光変調器(SLM)顕微鏡法を利用可能なシステム、方法及びコンピュータアクセス可能媒体を提供することが可能である。例示的SLM顕微鏡構成を使用して、例えば拡張被写界深度計算イメージングシステムを用いることによって例えば任意の3D座標にあるターゲット位置をイメージングすることができる。マルチサイト3次元ターゲティング及びセンシングは、透明及び散乱媒質の両方で使用することができる。
本開示のある例示的実施形態によれば、システム、方法及びコンピュータアクセス可能媒体は、例えばコンピュータハードウェア構成を利用し得る。このような例示的構成を用いた場合、試料の1つ又は複数の部分によって以前に変更された後に、光学的アドレス指定(例えば回折)構成によって変更され得る1つ又は複数の電磁放射線に関連する情報を受信することができる。試料の少なくとも部分の少なくとも1つが、光学的アドレス指定(例えば回折)構成を用いて、ユーザ又はコンピュータハードウェア構成のコンピュータ命令の少なくとも一方によって特定的にターゲティングされ得る。
例えば、1つ又は複数の画像が、情報に基づいて生成され得る。回折構成は、波面変更デバイスでもよく、1つ又は複数の電磁放射線の位相又は振幅を変調するように構築されてもよい。1つ又は複数の電磁放射線は、1つ又は複数の電磁放射線が回折構成から提供される場合に、確定的な3次元構造を有し得る、及びそれは非環境光でもよい。画像は、少なくともほぼ軸方向に不変で、実質的に無損失となり得る、及びデフォーカスブラーを排除し得る。
本開示の一部の例示的実施形態では、1つ又は複数の電磁放射線が試料の1つ又は複数の部分と交差する場合に、1つ又は複数の電磁放射線は、シート形状を有し得る。電磁放射線が試料の1つ又は複数の部分内にある場合に、電磁放射線は、集束ビームの形状又は試料の1つ又は複数の部分の形状に一致し得る形状も有し得る。空間光変調構成は、1つ又は複数の3次元照射パターンを用いて情報を生成し得る。本開示の特定の例示的実施形態によれば、光源(例えば、二光子光源)は、試料に供給され得るソース放射線を生成することができ、ソース放射線は、1つ又は複数の電磁放射線に関連し得る。情報は、以前に試料の1つ又は複数の部分のターゲティングを行った、さらなる動的構成可能回折構成にさらに関連してもよい。
本開示の一部の例示的実施形態では、ソース構成が、非線形励起放射線でもよい電磁放射線で試料を照射することによって、光を生成してもよい。照射は、動的でもよい、時間的に制御されてもよい及び/又は空間的に制御されてもよい。ソース構成は、照射のための試料の特定のスポット、又は照射のための試料上の幾つかのスポットを含み得る試料の先験的知識に基づいて、試料を照射してもよい。先験的知識は、試料の以前の照射にも基づき得る。
本開示のさらなる例示的実施形態によれば、ソース構成と、ソースから1つ又は複数の電磁放射線を受け、試料上に照射パターンを生成し得る空間光変調構成を含み得る、試料の1つ又は複数の部分の1つ又は複数の画像を生成するためのシステムが提供され得る。照射パターンに基づき得る試料からの戻り放射線を受け、さらなる放射線を供給し得る波面変更構成が設けられてもよい。波面変更構成から受け取ったさらなる放射線に基づいて、1つ又は複数の画像を生成し得るイメージング構成が設けられてもよい。
本開示の一部の例示的実施形態では、試料は、生物学的なものでもよい。例えば、波面変更構成は、戻り放射線の深度を制御し得る。波面変更構成は、システム内で固定され、非可動でもよく、試料のボリュームサイズに関する情報を増やすように構成されてもよい。特定の例示的実施形態では、イメージング構成による性能は、不変でもよい。一部の例示的実施形態では、処理構成は、1つ又は複数の画像をほぼ最適な性能へとデジタル的に後処理するように構成されてもよい。
本開示の例示的実施形態のこれら及び他の目的、特徴及び利点は、添付の図面及び同封の特許請求の範囲と併せて、本開示の例示的実施形態の以下の詳細な説明を読めば、明らかとなるであろう。
本開示のさらなる目的、特徴及び利点は、説明に役立つ実施形態を示す添付の図面と併せて以下の詳細な説明から明らかとなるであろう。
図1A〜1Hは、本開示のある例示的実施形態による例示的位相プロファイルの図である。 図2Aは、従来のイメージング顕微鏡の場合のデフォーカスの関数としての例示的模擬瞳位相の図である。 図2Bは、図2Aに関連した例示的点像分布関数の図である。 図2Cは、本開示のある例示的実施形態による、拡張被写界深度顕微鏡の場合のデフォーカスの関数としての例示的位相の図である。 図2Dは、本開示のある例示的実施形態による、図2Cに関連する例示的点像分布関数の図である。 図3Aは、本開示のある例示的実施形態による、3Dターゲティング及びモニタリングのための空間光変調及び拡張被写界深度イメージング統合顕微鏡の例示的図を示す。 図3Bは、本開示のある例示的実施形態による、例示的回折光学素子によって生じた及びアクセス可能領域に配置された例示的位相収差を示す。 図4A〜4Cは、本開示のある例示的実施形態による、例示的焦点面画像の例示的比較の図である。 図4Dは、本開示のある例示的実施形態による、復元画像によって測定された経時的な蛍光の例示的変動を示すグラフである。 図5A〜5Dは、従来及び本開示のある例示的実施形態による拡張被写界深度顕微鏡を用いた場合の透明媒質における例示的3次元空間光変調の例示的結果の図である。 図6A〜6Dは、従来及び本開示のある例示的実施形態による拡張被写界深度顕微鏡の両方を使用した、散乱媒質における3次元空間光変調のさらなる例示的結果の図である。 図7は、本開示のある例示的実施形態による、例示的デフォーカス較正プロシージャのサブステップ/サブプロシージャの一連の図である。 図8A及び8Bは、本開示のある例示的実施形態による、ターゲットの理想横方向パターンの例示的画像の図である。 図9は、本開示のある例示的実施形態による、蛍光材料のバルクスラブにおけるイメージングから決定された3×3アフィン変換行列の軸方向依存性を示す例示的グラフの一連の図である。 図10A及び10Bは、本開示のある例示的実施形態による、ウィーナー(Wiener)デコンボリューションフィルタ及びリチャードソン−ルーシー(Richardson−Lucy)デコンボリューションを用いたデコンボリューション結果を示す例示的グラフである。 図11は、本開示のある例示的実施形態による、個々のターゲットから収集された正規化蛍光を示す例示的グラフである。 図12は、本開示の特定の例示的実施形態による例示的システムのブロック図である。
図面全体を通して、特に明記されない限り、同一の参照用数字及び文字は、図示された実施形態の同様の特徴、要素、構成部品、又は部分を示すために使用される。さらに、図面を参照して、これより本開示を詳細に説明するが、この説明は、説明に役立つ実施形態に関連して行われ、本開示は、図面及び添付の特許請求の範囲に示された特定の実施形態によって限定されない。
本開示の例示的実施形態は、以下の説明及び関連の添付の図面を参照することにより、さらに理解することができるが、それらに限定されない。本開示の例示的実施形態は、空間光変調を利用した拡張被写界深度イメージングのための例示的システム、方法、及びコンピュータアクセス可能媒体に関する。
3次元ターゲティングパターンの例示的空間光変調器顕微鏡法
例えば本開示の例示的実施形態によるSLM顕微鏡法を用いるデバイス、システム、及び方法は、例えば、(a)関心領域のみの特定的な照射による大量の光損傷の低減、(b)視野内の複数箇所の正確な同時ターゲティング、及び(c)受動的イメージングモダリティ又は能動的光刺激モダリティで使用される3次元ターゲティングパターン作成の柔軟性といった、従来の顕微鏡システムの特定の制限に対する対処及び/又は克服が可能である。加えて、SLM顕微鏡法の使用は、一光子及び二光子照射源の両方に適応できる(例えば、参考文献13、14及び15を参照)−後者は、散乱媒質における侵入深さを増加させる及び軸分解能を向上させるために必要である。(例えば、参考文献16を参照)。
SLM顕微鏡法は、多数のターゲットを同時に照射することができ、このターゲティング構成を動的に変更することができる。SLMはフィールドプログラマブル回折光学素子として機能できるので、別々のコンピュータアルゴリズムがターゲットの実験的構成を認識した後に、顕微鏡からの照射パターンを調整することができる。さらに、SLMは、試料中に存在する実験の現実(例えば、ターゲティング密度のばらつき、収差補正、ターゲットの時系列等)を反映するように適応できる。ターゲットが個々の神経細胞からの樹状突起(例えば、参考文献13を参照)又は大きなニューロン集合体からの体細胞(例えば、参考文献15を参照)を含み得る神経科学に対するSLM顕微鏡法の重要性を先行研究が証明している。特に、神経科学におけるこの適用は、ニューロン活動を刺激するために光活性化神経伝達物質又はオプシンのような感光性構成要素に対してターゲティング光を届けるためにも使用することができる点で、SLMによって提供される最大限の汎用性を利用できる。(例えば、参考文献14、13及び17を参照)。
ターゲティング照射のために、プリズム及びレンズ位相を適用することにより、物空間内の点の完全な3次元制御を提供することができる。点p^j=(xj,yj,zj)(jは、合計N個のターゲットの各々のインデックスである)を照射するSLMパターンを作成するために、座標フレームu1、v1内においてSLMに位相をロードすることができる。起こり得る回転、シフト、及び他の形態のミスアライメントを説明するために、正確な位置依存変換x¢(p^j)、y¢(p^j)、z¢(p^j)がSLMの座標をイメージング検出器に関連付けることができる式1において、較正を含めることができる。軸方向依存位相成分は、高次球面収差の影響を相殺するために、ゼルニケ多項式に展開することができる(例えば、参考文献19を参照)。
ゼルニケ多項式及びそれらの関連係数の定義を含む、この例示的プロシージャの例示的詳細を以下に提供する。この変換がユニタリーである場合の、この例示的位相パターンの例は、x、y、及びzの平行移動に関する図1A〜1Hに見ることができる。ターゲットの集合体に対する照射パターンは、
を用いて計算することができる。
対物レンズの焦点面付近の例示的強度パターンは、
から得ることができ、式中、Fは、フーリエ変換演算子となり得る。
具体的には、図1A〜1Hは、本開示の例示的実施形態による、瞳位相プロファイルを示す図を提供する。例えば、図1Aは、水平平行移動の図であり、図1Cは、垂直平行移動の図であり、図1Eは、軸方向平行移動の図であり、それぞれ図1B、1D及び1Fのシミュレーションに示された焦点面の関連する点像分布関数を有する。図1B、1D及び1Fに示されるように、適用された位相関数の影響を強調するために、零位相の瞳関数のPSFが示される(105)。3つ全てのターゲットを重畳した場合の位相関数が図1Gに示され、その関連の画像が図1Hに示される。デフォーカススポット(図1E及び1Fに示される)は、像平面外に位置し得るので、よりぼやけ得る。
SLM顕微鏡法に関して、複数のターゲットから同時に蛍光活動をモニタリングする(例えば、図1Hに示されるように)ことは、点検出器(例えば、光電子増倍管、アバランシェフォトダイオード)を用いたセンシングモダリティではなく、イメージングモダリティの使用を含み得る。その結果、感知可能な信号を収集するための最小ドエルタイムによって制限され得る点走査技術とは異なり、光信号の時間分解能は、カメラのフレームレートによって制限され得る。例えば、この最小ドエルタイムの制限において、SLM顕微鏡法を利用できる例示的システム、デバイス、及び方法は、複数のターゲットを同時にイメージングできることにより、点走査に勝る明白な利点を提供する。例えば最大1kHzのフレームレートを有する高速度カメラの利用可能性が、一時的な上限を設定し得る。しかしながら、フレームレートを増加させるために、さらなる例示的ハードウェアが提供され得る。
特別設計点像分布関数を用いた例示的拡張被写界深度イメージング
イメージングモダリティの例示的使用は、観察されている試料が平面であることと(例えば、参考文献13及び14を参照)、従って、連続してボリュームを走査する機械的動作を用いなければ、3次元顕微鏡法に適応することができないかもしれないこととを同時に示し得る。(例えば、参考文献6、7及び8を参照)。従来、この平面イメージング状態は、限定されたDOFを有すると見なされ得る。
この場合、物空間ボリュームを通るこの厚さの1切片のみが、従来のレンズを用いて高コントラストでサンプリングされ得る。従って、単一ピクセル検出器を用いた走査ビームの使用は、複数の軸平面から信号を収集できるので、より高い自由度を有し得る。これは、依然、ターゲットの連続的走査を生じさせ得る及び/又は必要とし得るので、これらの従来のシステムは、複数の点を同時にモニタリングすることを実証していない。(例えば、参考文献9、10、11及び12を参照)。
例示的システム、方法、及びコンピュータアクセス可能媒体は、光学点像分布関数(「PSF」)のエンジニアリングによって、デフォーカス関連の性能を選択的に向上/抑制できる光学−デジタル統合設計技術に依存することによって、そのような制限を回避することができる。(例えば、参考文献20、21、22、23、24及び25を参照)。イメージングDOFを拡張させる場合、この機会は、高収差PSFのために、高画像コントラストを目的として従来的に選択される、しっかりと焦点の合った対称スポットを犠牲にすることによって得ることができる。例えば、この収差PSFは、ある限られた軸方向範囲内のデフォーカスの収差影響を凌駕し得る。このようなPSFを用いた例示的画像取得の後、デジタル画像復元技術(例えばデコンボリューション、例えば以下の例示的説明を参照)の使用は、これらの一定の光学収差を含まない元の物体を推定するために含まれてもよい/利用されてもよい。このような例示的システム及び/又は方法を用いた場合、合焦画像のピーク信号対雑音比(SNR)は、古典的なイメージングシステムと比較して不利になり得る、及び深度に対してなだらかな性能減衰をもたらし得る。従って、デフォーカスするために抑制されたこの感度は、複数の平面が同様の忠実度で同時にイメージングされることを促進する。本開示の例示的実施形態による例示的システム及び/又は方法を用いた場合、従来取得可能であったよりも高いSNRで、焦点外領域をイメージングすることができる。
立方相(CP)マスクが、位相のみを変調する光学素子(例えば、透明)となり得ることと、従ってイメージングシステムの最大NAを維持できる及び零を含まないかもしれない光学変調伝達関数(MTF)に関連付けられ得ることとから、適切な特別設計されたPSF設計の群から選択されてもよい。(例えば、参考文献23を参照)。その結果、物体からの全空間周波数成分が画像に移行し得るが、それは、明確かつ既知の減衰を経験し得る。例示的CPマスクは、
の位相変調(式中、u、vは、イメージング瞳面の正規化横座標となり得る、及びαは、被写界深度の拡張対画像コントラストのトレードオフを決定する係数となり得る)をイメージングシステムの瞳面に位置付けることによって実施され得る(例えば、参考文献23及び26を参照)。従来のPSFと比較した、CP−PSFのデフォーカス安定性を実証するシミュレーション例を図2に示す。ここでは、デフォーカスは、例えば、
としてパラメータ化することができ、式中、λは光信号の波長でもよく、NAは対物レンズの開口数でもよく、dzは焦点面に対する軸転位でもよく、最大スカラー値
は、顕微鏡の瞳の端部に存在するデフォーカスの波の数でもよい。物体デフォーカスの関数として見なされた画像は、
である。
具体的には、図2A〜2Dは、従来のイメージング顕微鏡の場合のデフォーカスの関数としての模擬瞳位相の図を提供する。実際には、図2Aは、従来のイメージング顕微鏡の場合のデフォーカスの関数としての模擬瞳位相を示す。図2Bは、関連するPSFを用いた瞳位相を提供する。拡張DOF顕微鏡の場合のデフォーカスの関数としての典型的瞳位相を図2Cに示し、関連の光学点像分布関数(PSF)を図2Dに示す。一例として、立方相係数αは、30に設定することができる。
CP−PSFの横軸不変性は、軸方向位置の関数として平行移動できるPSFを犠牲にして生じ得る−エアリービームの公知の特性。(例えば、参考文献27を参照)。本開示のある例示的実施形態によるSLM顕微鏡構成の特徴の1つは、従来の明視野拡張DOF技術とは異なり、このような平行移動がSLMターゲット位置から入手可能な前の情報を用いて完全に説明できることである。
例示的プロシージャ
SLM及び拡張DOF統合顕微鏡構成を以下に説明する。
例示的システムレイアウト
本開示の例示的実施形態による光学システムは、例えば、(a)照射/ターゲティング経路及び(b)イメージング経路といった、分離した構成要素/部分として提供され得る。ある例示的実施形態では、構成要素/部分の両方が共通の顕微鏡対物レンズを共有し得るが、この構成は必須ではない。この例示的幾何学的配置は、従来の顕微鏡に対して追加ユニットを含めるだけでよく、かつ生物学的インビボ及びインビトロ生物学的イメージング制約を満たせるので、有利となり得る。図3Aは、本開示のある例示的実施形態による、3Dターゲティング及びモニタリングのためのSLM及び拡張DOFイメージング統合顕微鏡構成の上記例示的構造の模式図を示す。
例えば、図3Aに示されるように、このような例示的構成に使用される例示的構成要素(これらは、同じく以下に十分に説明される)は、以下の通りでもよい。
LS1−光源
PC1−ポッケルセル
L1及びL2−望遠鏡を形成するシングレットレンズ
M1及びM2−誘電体コーティングEO3ミラー
HWP−半波長板リターダ
P1−ペリスコープミラーセット
L3及びL4−望遠鏡を形成するシングレットレンズ
SLM−L4の後方のf4に位置する空間光変調器
L5及びL6−縮小望遠鏡を形成するシングレットレンズ
DCB−非変調SLM信号用のDC信号ビームブロック
GM1−ガルバノ走査ミラー
L7−走査レンズ
DCM−約700nmを超えるλを反射可能なダイクロイックミラー
L8−チューブレンズ
OBJ−水浸顕微鏡対物レンズ(10倍/0.3NA)
L9及びL10−中間像の1:1リレーを形成するアクロマティック複レンズ
PM−立方相マスク
CF1−色フィルタ
NDF−ショートパスフィルタ
DET−EM−CCD検出器
例えば、M3及びM4をフリップマウント上に取り付けてSLMを回避する及びGM1を用いて試料を走査することによって、点走査モダリティを容易にすることができる。この例示的構造では、ビーム経路に任意選択のミラーOM6を挿入することによって、光電子増倍管(PMT)によって蛍光発光も収集することができる。レンズL11は、蛍光発光を収集し、それを色フィルタ(CF2)通過後にPMT上に収束させることができる。
図3Aに示した本開示によるシステムの例示的実施形態に示すように、照射経路は、二光子光源(LS1:コヒーレント・カメレオン・ウルトラ(Coherent Chameleon Ultra))から始まり、照度の独立制御を行うためにポッケルセル(PC1:Conoptics、モデル 350−160)を通過し、続けて望遠鏡(L1:f1=50mm、L2:f2=150mm)を通過し、ペリスコープ(P1)の上方へ方向を変えて別の望遠鏡(L3:f3=50mm、L4:f4=100mm)を通過してもよく、その結果、SLM(SLM:ホロアイ(Holoeye)、HEO1080p)を照射する前に、全体で約6倍のビームサイズの例示的拡大が生じ得る。ビームサイズがSLM背面の機能していない領域を照射することができないように、アイリスをSLMの前に配置してもよい。SLMは、1対のX/Yガルバノ走査ミラー(GM1)上に投影される前に、前に置かれた望遠鏡(L5:f5=250mm、L6:f6=100mm)を用いて約2.5倍縮小され得る。これらのガルバノミラーは、オリンパス BX−51顕微鏡の走査レンズ(L7:f7=50mm)を通るビームを中心に位置決めすることができ、このビームは、次に、ダイクロイックミラー(DCM:クロマ(Chroma) NIR−XR−RPC、@700〜1100nmを反射)からチューブレンズ(L8:f8=180mm)内及び顕微鏡対物レンズ(OBJ:オリンパス UMPLFLN 10倍/0.3NA)に向けて反射され得る。ここでは、低NA対物レンズの使用が、物空間をイメージングする例示的最大使用可能軸方向範囲を実証できる。
例えば、イメージング経路は、対物レンズOBJを使用して、試料SMP中のターゲットからの光信号を、例えば1:1イメージングリレー(L9及びL10、f9=f10=150mm)を用いてカメラ(DET:Andor iXon Ultra2)に向けて、チューブレンズ(L8)の後ろに配置される中間像平面にイメージングすることができる。リレーの有用性は、照射瞳から独立して操作されることが可能なアクセス可能位置に顕微鏡瞳を再イメージングすることであると言える。CP位相マスク(PM)は、L9の1焦点距離後ろ及びカラーフィルタ(CF1:クロマ(Chroma)、510/40M)と共にL10の1焦点距離前の場所でもよい。レーザー源からの散乱及び反射光を阻止するために、ニュートラルデンシティフィルタ(NDF:クロマ(Chroma)、OD6のHQ700SP−2P8、@λ≦600nm)が検出器の前に配置されてもよい。
位相マスク構成の例示的設計及び/又は製造
本開示のある例示的実施形態による、SLM顕微鏡構成用の例示的CP位相マスクの設計は、照射パターンの軸方向範囲に一致する適切な係数αの決定を含み得る。デフォーカスターゲティング範囲を生成するために1つ又は複数のSLMプロシージャが用いられ得るので、実際には、デフォーカス位相がエイリアシングを引き起こすまでは、それは、特定のデバイスにとどまり得る(例えば、参考文献28を参照)。例えば、これらの例示的制約は、エイリアシングが望ましくない信号の一因となる前に、z=8.5mmの最大デフォーカスを促すことができる。
例示的CP位相マスクは、高NA対物レンズ及び低NA対物レンズの一方又は両方と共に機能するように構成又は構築されてもよい。位相マスク直径φ=18mmの場合の係数α=200(例えば、正規化座標系において)の例示的選択肢は、例えば、システムのシミュレーション及び所望の性能に近似的に一致させることによって決定することができる。位相マスクは、多数の対物レンズ設計(例えば、オリンパス、XLUMPLFL 20倍/0.95WNA、φ=17.1mm、XLPLAN N 25倍/1.05WNA、φ=15.1mm)に適応するように設計されてもよい。ここで使用される顕微鏡対物レンズ(上記に報告したようなオリンパス UMPLFLN 10倍/0.3NA)に最も関連する値を報告する目的で、φ=10.8mm及びα=約43の同等の位相マスクが提供され得る。
例えば、従来のマルチレベルリソグラフィ技術(スワンソン(Swanson))を用いて、例示的8レベル位相マスクを水晶基板(例えば、ケムグラス・ライフ・サイエンス(Chemglass Life Sciences)、CGQ−0600−01)内に製造することができる。3μmのフィーチャーサイズのレーザーマスクライター(ヘルデルベルク(Heidelberg) μPG 101)を用いて、8レベル回折光学素子の生成に好ましい3つのバイナリクロムマスク(ナノフィルム(Nanofilm)、SL.HRC.10M.1518.5K)の各々を提供することができる。第1のクロムマスクは、マスクアライナー(スース(Suess) マイクロテック(MicroTec) MA6)に装填されて、ブランク水晶基板上にスピニングされたフォトレジスト(シップレイ1818ポジティブ・レジスト(Shipley 1818 positive resist))にパターンを転写することができる。フォトレジストを現像した後、ドライエッチ(オックスフォード・プラズマラボ(Oxford PlasmaLab) 80 Plus ICP65)を用いて、フォトレジストの下で安全に保護された水晶を残しながら、選択的に水晶基板を除去することができる。次に、フォトレジストは、剥離され、水晶基板に均一に再塗布され、プロセスがバイナリクロムマスク2及び3のために繰り返されてもよい。
例示的較正
液晶SLMの色度及び照射経路における光学的ずれの影響を数値化するために、イメージング検出器に対する瞳面/SLMの配向及び軸を推定することが可能である。
例えば、λ=760nmのSLMプロシージャ動作を最適化するために(例えば、2π位相ストロークを分解するように最適化されたルックアップテーブルを作成するために)、ロンチ回折格子をロードする及び変調度を変化させることによって、SLM内のピクセルに関する印加電圧対相対位相遅延の較正を行うことができる。(例えば、参考文献30を参照)。その後、例えば、直交方向におけるSLMに亘る回折格子を走査し、ピーク回折強度を有する位置を一次に選択することによって、光軸に対するSLMパターンのセンタリングを達成することができる。これらのサーチは、SLMに対する光軸の正確な推定が得られるまで、横方向走査長において徐々に減少し得る。
物空間較正に対する例示的SLM瞳面に関して、軸方向距離は、較正及び実験的に補正することができる(例えば、詳細及び理論的結果との比較に関しては付録Iを参照)。その後、点の2次元アレイを物空間に投影することによって、適切なアフィン変換行列(例えば、横方向寸法の特性化)を様々な深度で推定することができる。これらの例示的較正プロシージャの結果、例えば、図3C及び3Dにそれぞれ示されるように、単一の点をバルク蛍光体に照射する及び例示的SLMを用いてこの点を軸方向にシフトさせることによって、従来の光学イメージングシステム及び本開示のある例示的実施形態による拡張DOF光学システム両方のイメージング3次元PSFをサンプリングすることができる。
実際に、図3Bは、本開示のある例示的実施形態による回折光学素子(DOE)を用いて処理され得る位相収差を提供する画像の図を提供する。図3Bに示される位相収差は、回折光学素子が設けられ、照射瞳に影響を与えることなく、L9とL10との間のアクセス可能領域に配置され得る。図3Cは、従来の顕微鏡に対して提示された例示的光学点像分布関数(PSF)によって生成された例示的画像を示す。
例示的結果
透明及び散乱媒質における3次元ターゲティング及びイメージングのケースの例示的結果を以下に提供する。
透明試料における蛍光をモニタリングするための例示的3次元ターゲティング及びイメージング
例示的システムの能力は、蛍光染料(例えば、シュルピー・ハイライター(Shrpie Highlighter)ペンの黄色染料を混ぜた3.5グラムの再蒸留脱イオン水)を有する、アガロース混合液(例えば、再蒸留脱イオンH2O中の3.5グラムの1%アガロース(重量で))から成る試料を照射することによって分かる。3次元照射パターンは、カバースリップ/アガロース界面の下620μmに投影され得る。照射パターンは、点ターゲットの集合体から構築された2つの大きな形体から構成され得る。図4Aに示されるように、従来の顕微鏡によって生成された例示的画像の内、北西方向の形体は、ハッピーフェイス405となり得る、及び南東方向の形体は、アンハッピーフェイス410となり得る。光学イメージング経路に配置された例示的CPマスクにより、図4Bに示されるように、生の拡張DOF画像によって画像が収差され得る。下記の付録IIで説明する画像復元技術を用いて、この生及び中間の収差画像を、質的に従来の画像に匹敵し得るターゲットの推定に戻すように処理することができる(例えば図4Cを参照)。ここで、各画像のコントラストは、0.1%の彩度を用いて、視覚的解釈を助けるために強められてもよい。画像復元技術が蛍光に対して有し得る影響の実証は、図4Dに見ることができる。単一のターゲットからの2つの例示的時系列の蛍光信号が提供され得る。一方は、DOF拡張システムからの生信号420でもよく、他方は、復元された(415)DOF拡張画像でもよい。例示的拡張DOFシステムを用いてイメージングされた安定したソースからの蛍光信号の時間的変動が画像処理の前後で同様に挙動し得ることが示され得る。
本開示のある例示的実施形態による、例示的システム、方法及びコンピュータアクセス可能媒体の例示的3次元能力を実証するために、南東方向の形体410は、4μmの間隔で、従来の焦点面(dz=0として定義される)から軸方向に500μm≦δz≦+500μm分平行移動され得る一方で、北西方向の形体405は、焦点面で不変のまま維持され得る(図5A−これは、3次元照射パターンを示し得る)。従来のイメージング顕微鏡から生じ得る例示的イメージングが図5Bに提示され得る。従来のイメージングベースの顕微鏡法技術では、焦点面を越えて照射が平行移動し得るにつれて、イメージング性能の急速な損失が生じ得る。対照的に、拡張DOF顕微鏡を利用できる例示的システム、方法、及びコンピュータアクセス可能媒体からの復元画像は、図5Cに見ることができ、これは、焦点外信号の相対的増加及び軸方向位置とは無関係にしっかりと局在した点を示し得る。この増加は、図5Dにおいて数値化することができ、ターゲットスポットが焦点面からシフトされ得るにつれて照度の損失を含み得る。加えて、例えば、軸方向依存事前較正の適用により、投影されたパターンは、走査されるボリューム全体を通して同じ倍率を維持することができる。
このような例示的結果は、SLMアドレス可能3次元ボリューム内のターゲットが軸方向位置とは多少無関係に、カメラ上の局所領域にイメージングされ得ることを示し得る。PSFは、基本的に軸方向に不変となり得るので、モニタリングされた光信号は、例えば、復元画像中の関連するピークを探し、局所領域内のカウントを合計することによって得ることができる。例えば、SLMの特徴及び光源の出力によって課せられる制約を無視した場合、空間的に多重化されるターゲットの最大数は、それ自体が画像ノイズの関数となり得る、復元画像カットオフ空間周波数(例えば、復元ターゲットのスポットサイズ)にのみ限定され得る。空間的に多重化されたターゲットから収集された光信号は、例えば3次元位置とは無関係に、同時に取得及び/又は用いることができ、これは、例示的システム、方法及びコンピュータアクセス可能媒体の顕著な特徴である。
散乱試料内の蛍光をモニタリングするための例示的3次元ターゲティング及びイメージング
生物学において頻繁に直面する問題は、深度に伴って散乱が指数関数的に照度を低下させ得る高散乱組織に試料が埋め込まれ得ることである。従来の顕微鏡法システムは、3次元ターゲティング及びイメージングに予期され得る動作範囲の減少に悩まされ得る。3次元ターゲティング及びイメージングの結果は、図6A〜Cに見ることができる。例示的3次元照射パターンは、図6Aに示され、深度の関数としての蛍光の相対強度は、図6Dに示されるバルク蛍光体に3次元パターンをイメージングした結果は、従来の顕微鏡に関しては、図6Bの例示的画像に示され得る、及び拡張DOF顕微鏡に関しては、図6Cの例示的画像に示され得る。図6B及び6Cに示されるように、コントラストは、強められ得る、及び同じ状態のままとなり得る。
散乱媒質内でターゲットがより深い位置に配置され得るにつれて、収集される蛍光は、急速に減少し得る。しかしながら、イメージング経路における散乱の存在にもかかわらず、デコンボリューションが使用可能な情報をもたらし得る。例えば、拡張DOFモジュールにより、浅い軸方向位置に関して使用可能深さは増加したが、より深く進むと信号は散乱によって支配され得る及び従来の顕微鏡と同じ相対損失に近づく。
さらなる例示的実施形態
本明細書に記載される本開示のある例示的実施形態による例示的3次元イメージング顕微鏡は、例えば、2つの例示的な独立した光学技術の基礎に基づいて作られてもよい。第1に、例えば、試料からの発光が3Dの既知の領域及び検出又はセンシング前の時間に限定され得るように、変調デバイス(例えば空間光変調器)を用いて、照射が空間的及び/又は時間的に構造化され得る。第2に、例えば、照射された領域から発せられた光信号は、試料ボリューム内のソース放射位置とは無関係にほぼ同等の質の画像を生成できる光学的に効率の良いイメージングシステム(例えば、拡張被写界深度)を用いて収集することができる。3次元照射は、試料ボリューム内のどこからでも光信号を効率的に獲得するための解決策を用いることができる。同様に、例示的システム、方法及びコンピュータアクセス可能媒体は、試料ボリューム内の特定の位置に信号を割り当てることができるように、放射ソースの曖昧さを排除するための解決策を用いることができる。これらの相補的技術の統合的実施は、さらにより柔軟な解決策を生み出すことができる。ユーザ制御の照射デバイスによって提供される予備知識は、拡張被写界深度顕微鏡によって獲得される画像に対するコンテクストを推進する際に有益となり得る。ある例示的実証は、構造化した照射ソースとしてSLMを含み得るが、光シート顕微鏡法等のパターンを投影するための他の方法は、例えば、拡張被写界深度顕微鏡との接続によって、この改善に同等に適し得る。
本明細書に記載される本開示の特定の例示的実施形態による、例示的3Dターゲティング及びイメージングプロシージャ、方法、構成、システム及びコンピュータアクセス可能媒体は、透明媒質と共に機能する例示的方法及び/又はプロシージャが散乱媒質との場合よりも、より信頼性が高くなり得ることを示し得る。ただし、散乱例が最悪のケース(ターゲットと背景との間の蛍光コントラストが例えば1:1となり得る状況)であり得ることは強調されるべきである。染料又は遺伝子符号化を用いてターゲットが特異的に標識され得る例示的適用では、背景の蛍光に対するターゲット中の蛍光の比率は、ずっとより好ましくなる。
図6A〜6C及び図13に示されるように、散乱媒質対透明媒質におけるイメージング間の顕著な差は、深度に伴う信号の損失であり得る。最終的には、この信号損失は、媒質内の複数の散乱長に存在するターゲットがイメージングを行うことが困難となる状態を引き起こし得る。この問題を助けるため、この軸方向依存性を対応するターゲット照度の軸方向依存性増加で補償するために、重み付けされたGershberg−Saxon(wGS)プロシージャ/アルゴリズムが有用となり得る。例えば、wGSプロシージャ/アルゴリズムは、光トラッピング等の適用における使用が実証され得る、及びここでは最大イメージング深度の拡張に直接の影響を持つであろう。
イメージングが媒質内へとさらに深く推し進められ得るにつれて、各ターゲットのイメージングされたスポットのサイズは、それに応じて大きくなり得る。本明細書で説明されるデコンボリューションは、軸方向非依存性であると仮定されているので、この変動性は、再構成誤差を引き起こし得る。どこにターゲットが配置され得るかの先験的知識を用いた軸方向依存スポットサイズ及び例示的な空間的に異なるデコンボリューション方法/プロシージャを用いて潜在的に補償する可能性が高い。加えて、スポットサイズが深度に伴ってますます大きくなるにつれて、隣接するターゲット間の空間的重なりに関する問題が予期され得る。これに対する直接的な例示的解決策は、重なりを最小限にできるようにターゲット照射パターンを時間多重化することを含むであろう。ただしこれは、最大イメージング深度と光信号の時間分解能との間のトレードオフとなり得る。
本開示の例示的実施形態による例示的システム、方法、及びコンピュータアクセス可能媒体は、光学的プラットフォームの定着に伴って使用され得る。例えば、脳組織切片は、高い頻度で300μmの厚さに作製され得る。これは、DOFの必要な拡張に制限を加え得るので、顕微鏡対物レンズと位相マスクとの最適な組み合わせが設計され得る。例えば、ある例示的実施形態によれば、多種多様の試料及び顕微鏡対物レンズの組み合わせで広く動作するように、例示的位相マスク設計(例えば、φ=18mmの瞳径の場合、α=200の立方相マスク)が選択され得る。ある最適な組み合わせ例は、拡張DOFのPSFの横方向サイズが限定され得る、例えば特定のDOFに対してより高い画像コントラストをもたらす可能性が高いことを提供し得る。別の例示的改変は、高NA対物レンズ用の位相マスクのものとなり得る。
さらなる例示的代替位相マスク実施態様が拡張DOFのために提供され得る。例には、複数のフレネルゾーンプレートの重ね合わせ(例えば、参考文献21を参照)、ベッセルビーム(例えば、参考文献20を参照)、及び他の系統の伝搬不変ビーム(例えば、参考文献31を参照)が含まれ得る。特定のタスク(例えば、点ターゲティング対拡張物体ターゲティング)に関して、別の例示的解決策が提供され得る。
加えて、復元信号の忠実度を向上させるための画像処理技術の例示的改善が提供され得る。一例は、前の情報が適用され得る反復デコンボリューション技術を用いたものとなり得る。例えば、リチャードソン−ルーシー(Richardson−Lucy)デコンボリューションアルゴリズム/プロシージャは、信号が正になることを好む先験的情報に基づいて信号に対する制約を強制及び/又は促進し得るプロシージャとなり得る又はそのプロシージャを含み得る。この先験的情報は、既知の照射パターン(例えば、ターゲットは点でもよい)を含むことによって、更なる改善をもたらし得る。加えて、散乱材料の存在下における例示的デコンボリューション技術のための及び/又は例示的デコンボリューション技術に対する追加の改変は、特別設計されたPSF光学技術を使用した例示的デバイスにとって有益となり得る。
例示的結論
本開示のある例示的実施形態によれば、例えば、3次元ターゲティングパターン及び光信号の3次元画像を生成するために何らかの又は全く機械的動作を用いなくてもよい例示的システム、方法及びコンピュータアクセス可能媒体が提供され得る。この例示的システム、方法、及びコンピュータアクセス可能媒体は、顕微鏡の照射側及びイメージング側の両方に対して、光ビームの横方向位相の独立変調を利用し得る。この例示的システム、方法及びコンピュータアクセス可能媒体は、高速イメージングに適し得る、及び連続する平面パターンで試料を照射する又はイメージングすることに限定されない場合がある。例示的顕微鏡をテストし、透明及び散乱媒質の両方における性能を検証してもよい。これは既存の顕微鏡に対する「ボルトオン」モジュールのみから構成され得るので、例示的システム、方法、及びコンピュータアクセス可能媒体は、インビボイメージングに使用され得る。従って、例示的システム、方法及びコンピュータアクセス可能媒体は、既存の顕微鏡の大幅な再設計を必要としないパッケージにおいて、生物学的研究のための無振動の機器を提供する点で独自のものである。
例示的照射/ターゲティングパターン較正プロシージャ
本開示の例示的実施形態による、試料ボリューム及びイメージング検出器上への位相符号化SLMの投影を較正するための例示的プロシージャを以下に説明する。これらの例示的プロシージャは、光学的ミスアライメントを調整する及び安定した性能を経時的に維持するために重要となり得る。
軸方向平行移動の例示的較正
SLMに対して可変量のデフォーカス位相を適用した後に、移動可能誘電界面からの反射が能動的に合焦され得るプロシージャによって、軸方向距離が較正され得る。例示的光学的構造及び関連の図表が図7に示され、これは、例示的デフォーカス較正方法において、試料/スライド界面からの後方反射がイメージング経路上に合焦され得ることを示し得る。SLM(例えば瞳面)において零デフォーカス位相が適用され得る場合、合焦画像は、焦点面に存在し得る。デフォーカス位相は、SLMにおいてターゲット照射を100μm間隔で平行移動させるように適用され得る。SLM上の各デフォーカス位相に関して、イメージング経路を用いて後方反射が合焦され得るまで、試料ステージが軸方向に平行移動され得る。試料の平行移動は、予想された各z位置に対する実験z位置として記録され得る。理論曲線は、実験的に決定された軸方向位置よりも平均で3.2%大きくなり得る距離を予測する。
具体的には、最初の事項として、例えば、
を用いて、平面zにおいて(x,y)=(0,0)にターゲットを提供すべきSLM上にデフォーカス位相が配置され得る。係数及びゼルニケモードが表1に記載され、
である。
高次ゼルニケ多項式へのデフォーカス収差のこの展開は、3次元イメージング及び屈折率のミスマッチを有する生体組織におけるイメージングの両方に対して含まれ得る(例えば、参考文献19、32及び13を参照)。デフォーカス収差のこの例示的形式を用いた場合、理論曲線は、図7に示された例示的測定結果と一致し得る。精度の向上のために、実験曲線のフィッティングは、係数がa=2.8e−8、b=7.0e−5、c=1.032、及びd=12.08であることが分かった実験軸方向距離の較正に使用されるz¢(z)=az3+bz2+cz+dとされ得る。
横座標の例示的較正
第2の例示的較正は、イメージング検出器上のターゲティングパターンの予想位置に対するターゲティングパターンの横方向位置を推定するために行われ得る。これらの逸脱の原因は、カメラに対するSLMの回転、光軸に沿った光学部品のミスアライメント、並びにSLMに対する光ビームの斜め入射角に起因し得る。その意味では、較正ステップは、あらゆる回転、ずれ又はアフィンと見なされ得る他の変換を除去し得る。横方向パターン較正の場合、ターゲットパターンが投影され得る(図8A及び8Bに示されるように)及び理想位置に対する実験測定結果からアフィン変換が計算され得る。横方向パターン較正の場合、例えば図8Aに見られるように、ターゲットパターン805が投影され得る、及び理想位置に対する実験測定結果からアフィン変換が計算され得る。非対称パターンは、図8Bの例示的実験画像におけるアフィン変換の一義的較正を可能にし得る。
例えば、このターゲットパターンに関して予想座標位置x、y及び実験位置x’及びy’を用いると、変換は、例えば、
と定義され得る。
光学的ミスアライメントは、深度が異なる収差を引き起こし得るので、この横座標変換は、ターゲット深度zの関数であると定義され得る。例示的実施形態では、このアフィン変換行列の軸方向依存性を較正するために、最低7つの軸平面が使用され得る、及び行列の各係数は、いずれの連続する軸方向位置においても滑らかに変化するアフィン変換を提供するように、図9に示されるように曲線905に対してフィッティングされ得る。例えば、図9は、本開示の例示的実施形態による、蛍光材料のバルクスラブにおけるイメージングから決定された3×3アフィン変換行列の軸方向依存性を示す一連のグラフを提供する。
軸方向及び横方向較正の両方を用いた場合、SLMディスプレイのための完全に較正されたターゲット照射は、例えば、
として求められ得る。
例示的画像復元方法/プロシージャ及び関連の信号安定性
この例示的技術に利用される例示的信号復元は、デコンボリューションが元の信号の安定した推定を提供することを含み得る。拡張DOFイメージングシステムが、そのような例示的結果を提供できることを検証するために、特定の例示的代替復元技術が使用され得る。
最初の事項として、例えばウィーナー(Wiener)デコンボリューションは、線形解、非反復復元を提供し得る線形最小二乗解を取得できるから選択され得る。ウィーナー(Wiener)デコンボリューションは、例えば、
として定義され得る。
psfEDOFがPSFとなり得る場合、iEDOFは、実験画像となり得る、SNRは、空間周波数SNRとなり得る、及びo^(x,y)は、復元信号となり得る。これがPSF及び空間周波数SNRの先験的情報を含み得ることが式9から分かる。実際には、PSFは、実験的に見つけられてもよい又は理想の模擬PSFが使用されてもよい。SNRは、計算されてもよい、あるいは最良又は最も適切な復元をもたらすように経験的に決定又は推定されてもよい。
リチャードソン−ルーシー(Richardson−Lucy)(RL)反復プロシージャ(マットラボ・イメージ・プロセッシング・ツールボックス(MatLab Image Processing Toolbox)、ザ・マスワークス(The Mathworks)、ナティック(Natick)、MA)を利用し得る代替の例示的アルゴリズム/プロシージャが用いられてもよく、i+1反復推定は、例えば、
から求められ得る。この場合もやはり、PSF並びに反復の最適数の形式の先験的情報が有益となり得る。
各自由変数(ウィーナー(Wiener)の場合は空間周波数SNR、RLの場合は反復数)に対する各例示的デコンボリューションアルゴリズム/プロシージャの性能を数値化するために、拡張DOFイメージングシステムを用いて、単一の合焦ターゲットからの蛍光の時系列を記録した。同じ試料から記録された実験的に測定されたpsfEDOFを用いて、この例示的画像系列がデコンボリューションされ得る。信号の変化率の標準偏差は、例えば、
として定義され得る(式中、図10A及び10Bの例示的グラフに示されるように、○は、関連の自由変数に対してプロットされ得る中間信号となり得る)。例えば、ウィーナー(Wiener)デコンボリューションに関して空間周波数SNRを推定する際の誤差は、復元信号に対する利得を滑らかに調整できる及び復元信号をスケーリングできる。最適SNRは、正確な信号変動を再現しない場合があるが、画像中の複数のターゲットからのSNRは、変化しないままでいることを期待されない場合がある。従って、1つ1つのターゲットに対する最適SNRが復元プロシージャ中に使用され得ることが仮定されない場合がある。
例えば、図10の1番上のグラフに示された結果は、ウィーナー(Wiener)デコンボリューションフィルタを用いて生成されたものであり、1番下のグラフは、リチャードソン−ルーシー(Richardson−Lucy)デコンボリューションを用いたものである。1番上のグラフの例示的結果は、例えば、最適又は好ましいSNRが蛍光信号変動における復元画像相対変動と一致するように選択され得ることを示す。より低い又はより高いSNRの推測は、より低い又はより高い相対変動の推定を生じさせ得る。図10の1番下のグラフに示された例示的結果は、より少ない反復が、復元信号の真の変動性のより安定した推定を生じさせ得る。
例示的RLプロシージャに関して、反復数が増加するにつれて、信号が滑らかに復元されない場合がある。反復数が少ない場合、最適値を見つけられるまでは、例示的解は、補正不足となる場合があり、その後、過剰補正により可変の復元成功に至り得る。
例えば、図10A及び10Bのグラフに示されるように、例示的ウィーナー(Wiener)デコンボリューションフィルタ(図10Aを参照)及びリチャードソン−ルーシー(Richardson−Lucy)デコンボリューション(図10Bを参照)を用いて、例示的デコンボリューション結果が提供され得る。図10Aの例示的グラフは、蛍光信号変動における復元画像相対変動と一致するように最適SNRが選択され得ることを示し得る。より低い又はより高いSNRの推測は、より低い又はより高い相対変動の推定を生じさせ得る。図10Bの例示的グラフは、より少ない反復が、復元信号の真の変動性のより安定した推定を生じさせ得ることを示す。
ファントム試料の例示的散乱特性
例示的散乱ファントムは、例えば、3.5グラムの蛍光染料溶液(50重量%)、0.5グラムの殺菌全乳(7重量%)及び3.0グラムの1%アガロース混合液(43重量%)を含み得る。透明及び散乱試料の両方に関する照射及びイメージングによる全損失を図11のグラフで見ることができる。実際には、図11は、本開示のある例示的実施形態によるデバイス、システム及び方法を用いて試料が軸方向に平行移動され得る間に個々のターゲットから収集された正規化蛍光のグラフを示す。例えば、試料の軸方向平行移動は、試料深度が増し得るように行われ得る。大きな深度では、透明試料に関しては、収集信号の僅かな減少が観測され得る一方で、散乱試料は、例えば約500μm付近で、信号の消滅に瀕する。
図12は、本開示によるシステムのある例示的実施形態のブロック図を示す。例えば、本明細書に記載の本開示に従った例示的プロシージャは、処理構成及び/又はコンピューティング構成1202によって行われ得る。例えば、このような処理/コンピューティング構成1202は、例えば1つ又は複数のマイクロプロセッサを含み得る及びコンピュータアクセス可能媒体(例えば、RAM、ROM、ハードドライブ、又は他のストレージデバイス)に保存された命令を使用し得るコンピュータ/プロセッサ1204そのもの又はその一部、あるいはそのようなコンピュータ/プロセッサ1204を含んでもよいが、これに限定されない。
図12に示されるように、例えばコンピュータアクセス可能媒体1206(例えば、上記のように、ハードディスク、フロッピーディスク、メモリスティック、CD−ROM、RAM、ROM等、又はそれらの集合体等のストレージデバイス)が設けられてもよい(例えば、処理構成1202と通信して)。コンピュータアクセス可能媒体1206は、実行可能命令1208を含んでもよい。追加的又は代替的に、ストレージ構成1210が、コンピュータアクセス可能媒体1206とは別に設けられてもよく、ストレージ構成1210は、例えば上記のような特定の例示的プロシージャ、プロセス及び方法を実行するように処理構成を構成できるように命令を処理構成1202に与え得る。
さらに、例示的処理構成1202は、例えば有線ネットワーク、無線ネットワーク、インターネット、イントラネット、データ収集プローブ、センサ等を含み得る入力/出力構成1214を備え得る又は含み得る。図12に示されるように、例示的処理構成1202は、例示的ディスプレイ構成1212と通信してもよく、ディスプレイ構成1212は、本開示の特定の例示的実施形態によれば、例えば処理構成からの情報を出力することに加えて、処理構成に情報を入力するように構成されたタッチスクリーンでもよい。さらに、例示的ディスプレイ1212及び/又はストレージ構成1210は、ユーザアクセス可能フォーマット及び/又はユーザ可読フォーマットでデータの表示及び/又は保存を行うために使用され得る。
上記は、本開示の原理を単に説明するものである。本明細書の教示を鑑みて、記載の実施形態に対する様々な改変及び変更が当業者には明らかとなるであろう。従って、本明細書に明示的に示されてはいない又は記載されてはいないが、本開示の原理を具体化し、従って本開示の精神及び範囲内となり得る多くのシステム、構成、及びプロシージャを当業者が考案できるであろうことが認識されるであろう。様々な異なる例示的実施形態は、当業者によって理解されるべきであるように、互いに一緒に使用され得る、及び交換可能に使用され得る。さらに、限定されることはないが、例えばデータ及び情報を含む、本開示(その明細書、図面、及び特許請求の範囲を含む)において使用される特定の用語は、特定の例においては同意語として使用され得る。これらの単語及び/又は互いに同意語となり得る他の単語が本明細書において同意語として使用され得る一方で、このような単語が同意語として使用されないことが意図され得る例が存在し得ることを理解されたい。さらに、先行技術の知識が明示的に参照により上記明細書に援用されていない範囲において、それは全て本明細書に明示的に援用される。参照された全ての出版物は、参照により全て本明細書に援用される。
参考文献例
以下の参考文献は、参照により全て本明細書に援用される。
[1]アール・ユステ(R. Yuste)、エル・シー・カッツ(L. C. Katz)、「興奮性及び抑制神経伝達物質によって新皮質を発達させる際のシナプス後カルシウム流入の制御」(”Control of postsynaptic calcium influx in developing neocortex by excitatory and inhibitory neurotransmitters”)、ニューロン(Neuron)、第6巻、333〜344頁(1991年)
[2]ディー・スメッターズ(D. Smetters)、エー・マジョースカ(A. Majewska)、アール・ユステ(R. Yuste)、「カルシウムイメージングを用いた神経集団における活動電位の検出」(”Detecting Action Potentials in Neuronal Populations with Calcium Imaging”)、メソッズ:メソッズ・イン・エンザイモロジーの手引き(METHODS: A Companion to Methods in Enzymology)、第18巻、215〜221頁、(1999年)。
[3]エム・ニーン(M. Kneen)、ジェイ・ファリナス(J. Farinas)、ワイ・リー(Y. Li)、エー・エス・バークマン(A. S. Verkman)、「非侵襲性細胞内pH指示薬としての緑色蛍光タンパク質」(”Green Fluorescent Protein as a Noninvasive Intracellular pH Indicator”)、バイオフィジカル・ジャーナル(Biophy. J.)第74巻、1591〜1599頁(1998年)。
[4]エス・アンティック(S. Antic)、ディー・ゼセビック(D. Zecevic、「電位感受性染料を内的に塗布されたニューロンからの光信号」(”Optical signals from neurons with internally applied voltage−sensitive dyes”)、ジャーナル・オブ・ニューロサイエンス(J. Neurosci.)、第15巻、1392〜1405頁、(1995年)
[5]エー・エイチ・ボイエ(A. H. Voie)、ディー・エイチ・バーンズ(D. H. Burns)、エフ・エー・スペルマン(F. A. Spelman)、「直交面蛍光オプティカルセクショニング:巨視的生物標本の3次元イメージング」(”Orthogonal−plane fluorescence optical sectioning: three−dimensional imaging of macroscopic biological specimens”)、ジャーナル・オブ・マイクロスコピー(J. Microsc.)、第170巻、229〜236頁(1993年)。
[6]ディー・フーバー(D. Huber)、エム・ケラー(M. Keller)、ディー・ロバート(D. Robert)、「3D光走査肉眼検査」(”3D light scanning macrography”)、ジャーナル・オブ・マイクロスコピー(J. Microsc.)、第203巻、208〜213頁(2001年)。
[7]ジェイ・ヒュースケン(J. Huisken)、ジェイ・スウォージャー(J. Swoger)、エフ・デルベン(F. Del Bene)、ジェイ・ウィットブロット(J. Wittbrodt)、イー・エイチ・ケー・ステルザー(E. H. K. Stelzer)、「選択的平面照明顕微鏡法による生きている胎児の深部におけるオプティカルセクショニング」(”Optical sectioning deep inside live embryos by selective plane illumination microscopy”)、サイエンス(Science)、第305巻(第5686号)、1007〜1009頁(2004年)。
[8]ティー・エフ・ホールカンプ(T. F. Holekamp)、ディー・ツラガ(D. Turaga)、ティー・イー・ホーリー(T. E. Holy)、「対物レンズ連結平面照明顕微鏡法による神経細胞集団における活動の高速3次元蛍光イメージング」(”Fast three−dimensional fluorescence imaging of activity in neural populations by objective−coupled planar illumination microscopy”)、ニューロン(Neuron)、第57巻、763〜773頁(2008年)。
[9]ダブリュー・ゴーベル(W. Goebel)、ビー・エム・カンパ(B. M. Kampa)、エフ・ヘルムチェン(F. Helmchen)、「高速3Dレーザー走査を用いた3次元の細胞ネットワークダイナミクスのイメージング」(”Imaging cellular network dynamics in three dimensions using fast 3D laser scanning”)、ネイチャー・メソッズ(Nature Methods)、第4巻(第1号)、73〜79頁(2007年)。
[10]ビー・エフ・グリュー(B. F. Grewe)、ディー・ランガー(D. Langer)、エイチ・カスパー(H. Kasper)、ビー・エム・カンパ(B. M. Kampa)、エフ・ヘルムチェン(F. Helmchen)、「高速インビボカルシウムイメージングが神経ネットワーク活動をほぼミリ秒精度で明らかにする」(”High−speed in vivo calcium imaging reveals neuronal network activity with near−millisecond precision”)、ネイチャー・メソッズ(Nat Methods)、第7巻(第5号)、399〜405頁(2010年)。
[11]エー・チェン(A. Cheng)、ジェー・ティー・ゴンカルバス(J. T. Goncalves)、ピー・ゴルシャーニ(P. Golshani)、ケー・アリサカ(K. Arisaka)、シー・ポルテラ−カイリュー(C. Portera−Cailliau)、「時空間多重化を用いた異なる深度における同時二光子カルシウムイメージング」(”Simultaneous two−photon calcium imaging at different depths with spatiotemporal multiplexing”)、ネイチャー・メソッズ(Nat Methods)、第8巻(第2号)、139〜142頁(2011年)。
[12]ジー・カトナ(G. Katona)、ジー・サーレイ(G. Szalay)、ピー・マーク(P. Maak)、エー・カスザス(A. Kaszas)、エム・ベレス(M. Veress)、ディー・ヒリアー(D. Hillier)、ビー・チオビーニ(B. Chiovini)、イー・エス・ビジー(E. S. Vizi)、ビー・ロスカ(B. Roska)、ビー・ロージャ(B. Rozsa)、「大組織ボリュームでの3次元ランダムアクセス走査を用いた高速二光子インビボイメージング」(”Fast two−photon in vivo imaging with three−dimensional rondom−access scanning in large tissue volumes”)、ネイチャー・メソッズ(Nat Methods)、第9巻(第2号)、201〜208頁(2012年)。
[13]エフ・アンセルミ(F. Anselmi)、シー・ベンタロン(C. Ventalon)、エー・ベグエ(A. Begue)、ディー・オグデン(D. Ogden)、ヴィー・エミリアーニ(V. Emiliani)、「遠隔集束及びホログラフィック光パターニングによる3次元イメージング及び光刺激」(”Three−dimensional imaging and photostimulation by remote−focusing and holographic light patterning”)、米国科学アカデミー紀要(Proc. Natl. Acad. of Sci. USA)、第108巻(第49号)、19504〜19509頁(2011年)。
[14]ヴィー・ニコレンコ(V. Nikolenko)、ケー・イー・ポスカンザ(K.E. Poskanzer)、アール・ユステ(R. Yuste)、「神経回路の二光子光刺激及びイメージング」(”Two−photon photostimulation and imaging of neural circuits”)、ネイチャー・メソッズ(Nat. Methods)、第4巻(第11号)、943〜950頁(2007年)。
[15]ヴィー・ニコレンコ(V. Nikolenko)、ビー・オー・ワトソン(B. O. Watson)、アール・アラヤ(R. Araya)、エー・ウッドルフ(A. Woodruff)、ディー・エス・ペテルカ(D. S. Peterka)、アール・ユステ(R. Yuste)、「SLM顕微鏡法:空間光変調器を用いたスキャンレス二光子イメージング及び光刺激」(”SLM Microscopy: Scanless two−photon imaging and photostimulation using spatial light modulators”)、フロンティアズ・ニューラル・サーキット(Front. Neural Circuits)、第2巻−5、1〜14頁(2008年)。
[16]ダブリュー・デンク(W. Denk)、ジェイ・エイチ・ストリックラー(J. H. Strickler)、ダブリュー・ダブリュー・ウェブ(W. W. Webb)、「二光子レーザー走査蛍光顕微鏡法」(”Two−photon laser scanning fluorescence microscopy”)、サイエンス(Science)、第248巻(第4951号)、73〜76頁(1990年)。
[17]エー・エム・パッカー(A. M. Packer)、ディー・エス・ペテルカ(D. S. Peterka)、ジェイ・ジェイ・ヒルツ(J. J. Hirtz)、アール・プラケッシュ(R. Prakesh)、ケー・ダイサーロス(K. Deisseroth)、アール・ユステ(R. Yuste)、「樹状突起棘及び神経回路の二光子オプトジェネティクス」(”Two−photon optogenetics of dendritic spines and neural circuits”)、ネイチャー・メソッズ(Nature Methods)、第9巻、1202〜1205頁(2012年)。
[18]ジェイ・ダブリュー・グッドマン(J. W. Goodman)、フーリエ光学入門(Introduction to Fourier Optics)、第3版、(ロバーツ&カンパニー・パブリッシャーズ(Roberts & Company Publishers)、2004年)。
[19]イー・ジェイ・ボッチェビー(E. J. Botcherby)、アール・ジュスカイティス(R. Juskaitis)、エム・ジェイ・ブース(M. J. Booth)、ティー・ウィルソン(T. Wilson)、「顕微鏡法における遠隔集束の光学技術」(”An optical technique for remote focusing in microscopy”)、オプティクス・コミュニケーション(Optics Communication)、第281巻、880〜887頁(2008年)。
[20]ジェイ・ダブリュー・ワイ・リット(J. W. Y. Lit)、アール・トランブレー(R. Tremblay)、「透過アキシコンの焦点深度」(”Focal depth of a transmitting axicon”)、ジャーナル・オブ・オプティカル・ソサエティ・オブ・アメリカ(JOSA)、第63巻(第4号)、445〜449頁(1973年)。
[21]ジー・インデベトー(G. Indebetouw)、エイチ・バイ(H. Bai)、「フレネルゾーン瞳マスクを用いたイメージング:拡張被写界深度」(”Imaging with Fresnel zone pupil masks: extended depth of field”)、アプライド・オプティクス(Applied Optics)、第23巻(第23号)、4299〜4302頁(1984年)。
[22]エイチ・ピー・カオ(H. P. Kao)、エー・エス・バークマン(A. S. Verkman)、「3次元における単一蛍光粒子のトラッキング:粒子位置を符号化するための円筒形光学系の使用」(”Tracking of single fluorescent particles in three dimensions: use of cylindrical optics to encode particle position”)、バイオフィジカル・ジャーナル(Biophys. J.)、第67巻(第3号)、1291〜1300頁(1994年)。
[23]イー・アール・ドースキー(E. R. Dowski)、ダブリュー・ティー・キャセイ(W. T. Cathey)、「波面符号化による拡張被写界深度」(”Extended depth of field through wave−front coding”)、アプライド・オプティクス(Appl. Opt.)、第34巻(第11号)、1859〜1866頁(1995年)。
[24]ダブリュー・チー(W. Chi)、エヌ・ジョージ(N. George)、「対数非球面を使用したエレクトロニックイメージング」(”Electronic imaging using a logarithmic asphere”)、オプティクス・レターズ(Optics Letters)、第26巻(第12号)、875〜877頁(2001年)。
[25]エー・グリーンガード(A. Greengard)、ワイ・ワイ・シェクナー(Y. Y. Schechner)、アール・ピースタン(R. Piestun)、「回折回転からの深度」(”Depth from diffracted rotation”)、オプティクス・レターズ(Opt. Lett.)、第31巻(第2号)、181〜183頁(2006年)。
[26]エス・バゲリー(S. Bagheri)、ピー・イー・エックス・シルベイラ(P. E. X. Silveira)、アール・ナラヤンスワミー(R. Narayanswamy)、ディー・プッチ・デ・フリアス(D. Pucci de Farias)、「立方相波面符号化を用いた被写界深度の拡張の分析的な光学的解決策、パート2、立方相の設計及び最適化」(”Analytical optical solution of the extension of the depth of field using cubic−phase wavefront coding,Part II,Design and optimization of the cubic phase”)、ジャーナル・オブ・オプティカル・ソサエティ・オブ・アメリカ(JOSA)、A25巻(第5号)、1064〜1074頁(2008年)。
[27]ピー・ポリンキン(P. Polynkin)、エム・コレシク(M. Kolesik)、ジェイ・ヴィー・モロニー(J. V. Moloney)、ジー・エー・シビログロー(G. A. Siviloglou)、ディー・エヌ・クリストドゥリデス(D. N. Christodoulides)、「超高強度エアリービームを使用した曲面プラズマチャネル生成」、(”Curved Plasma Channel Generation Using Ultraintense Airy Beams”)、サイエンス(Science)、第324巻、229〜232頁(2009年)。
[28]ディー・エム・コットレル(D. M. Cottrell)、ジェイ・エー・デービス(J. A. Davis)、ティー・アール・ヘドマン(T. R. Hedman)、アール・エー・リリー(R. A. Lilly)、「プログラム可能空間光変調器として書かれたマルチプルイメージング位相符号化光学素子」(”Multiple imaging phase−encoded optical elements written as programmable spatial light modulators”)、アプライド・オプティクス(Appl. Opt.)、第34巻、3077〜3086頁(1990年)、(ユステ&カッツ(Yuste & Katz))。
[29]ジー・ジェイ・スワンソン(G. J. Swanson)、「バイナリ光学技術:マルチレベル回折光学素子の理論及び設計」(”Binary Optics Technology: The Theory and Design of Multi−level Diffractive Optical Elements”)、エム・アイ・ティー/リンカーン・ラボラトリーズ・テクニカル・リポート(MIT/Lincoln Laboratories Technical Report)、第854巻、(1989年)。
[30]ズィー・チャン(Z. Zhang)、ジー・ルー(G. Lu)、エフ・ユー(F. Yu)、「液晶テレビにおいて位相変調を測定する簡単な方法」(”Simple method for measuring phase modulation in liquid crystal television”)、オプティカル・エンジニアリング(Opt. Eng.)、第33巻、3018〜3022頁(1994年)。
[31]アール・ピースタン(R. Piestun)、ワイ・ワイ・シェクナー(Y. Y. Schechner)、ジェイ・シャミル(J. Shamir)、「有限エネルギーを持つ伝搬不変波動場」(”Propagation−invariant wave fields with finite energy”)、ジャーナル・オブ・オプティカル・ソサエティ・オブ・アメリカ(JOSA)、A17巻(第2号)、892〜902頁(2000年)。
[32]ピー・クナー(P. Kner)、ジェイ・ダブリュー・セダト(J. W. Sedat)、ディー・エー・アガード(D. A. Agard)、ズィー・カン(Z. Kan)、「球面収差補正及び静止集束のための補償光学を使用した高分解能広視野顕微鏡法」(”High−resolution wide−field microscopy with adaptive optics for spherical aberration correction and motionless focusing”)、ジャーナル・オブ・マイクロスコピー(J. Microscopy)、第237巻、136〜147頁(2010年)。

Claims (30)

  1. 試料の少なくとも一部分の少なくとも1つの画像を生成するためのコンピュータ実行可能命令を保存した非一時的コンピュータアクセス可能媒体であって、コンピュータハードウェア構成が命令を実行すると、前記コンピュータ構成は、
    前記試料の前記少なくとも一部分によって以前に変更された後に、光学的アドレス指定構成によって変更された少なくとも1つの電磁放射線に関連する情報を受信することであって、前記試料の前記少なくとも一部分の少なくとも1つが、前記光学的アドレス指定構成を用いて、ユーザ又は前記コンピュータハードウェア構成のコンピュータ実行可能命令の少なくとも一方によって特定的にターゲティングされることと、
    前記情報に基づいて前記少なくとも1つの画像を生成することと、
    を含むプロシージャを行うように構成される、非一時的コンピュータアクセス可能媒体。
  2. 前記光学的アドレス指定構成は、波面変更デバイスである、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  3. 前記光学的アドレス指定構成は、前記少なくとも1つの電磁放射線の位相又は振幅の少なくとも一方を変調するように構築される、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  4. 前記少なくとも1つの電磁放射線は、少なくとも1つの電磁放射線が回折構成から提供される場合に、確定的な3次元構造を有する、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  5. 前記構造は、少なくとも部分的に、前記試料の前記少なくとも一部分に基づく、請求項4に記載の非一時的コンピュータアクセス可能媒体。
  6. イメージングシステムから出射する際に、前記少なくとも1つの電磁放射線は、軸方向に不変である、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  7. 前記少なくとも1つの電磁放射線は、デフォーカスブラーを排除する、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  8. 前記少なくとも1つの電磁放射線が前記試料の前記少なくとも一部分内にある場合に、前記少なくとも1つの電磁放射線は、シート形状を有する、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  9. 前記少なくとも1つの電磁放射線は、非環境光である、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  10. 前記試料から出射する際に、前記少なくとも1つの電磁放射線は、実質的に無損失である、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  11. 少なくとも1つの3次元照射パターンを用いて前記情報を生成する空間光変調構成をさらに含む、パラグラフ1に記載の非一時的コンピュータアクセス可能媒体。
  12. 前記試料に供給されるソース放射線を生成する二光子光源をさらに含み、前記ソース放射線は、前記少なくとも1つの電磁放射線に関連する、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  13. ソース放射線で前記試料を照射することによって、前記少なくとも1つの電磁放射線を生成するソース構成をさらに含む、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  14. 前記ソース構成は、非線形励起放射線を用いて前記試料を照射する、請求項13に記載の非一時的コンピュータアクセス可能媒体。
  15. 前記照射は、動的である、パラグラフ13に記載の非一時的コンピュータアクセス可能媒体。
  16. 前記照射は、時間的に制御される、請求項13に記載の非一時的コンピュータアクセス可能媒体。
  17. 前記照射は、空間的に制御される、請求項13に記載の非一時的コンピュータアクセス可能媒体。
  18. 前記ソース構成は、前記試料の演繹的知識に基づいて前記試料を照射する、請求項13に記載の非一時的コンピュータアクセス可能媒体。
  19. 前記演繹的知識は、(i)前記照射のための前記試料の特定のスポット、又は(b)前記照射のための前記試料上の幾つかのスポットの少なくとも一方を含む、請求項18に記載の非一時的コンピュータアクセス可能媒体。
  20. 前記演繹的知識は、前記試料の以前の照射に基づく、請求項18に記載の非一時的コンピュータアクセス可能媒体。
  21. 前記光学的アドレス指定構成は、回折構成を含む、請求項1に記載の非一時的コンピュータアクセス可能媒体。
  22. 試料の少なくとも一部分の少なくとも1つの画像を生成するためのシステムであって、
    コンピュータハードウェア構成を含み、前記コンピュータハードウェア構成は、
    a.前記試料の前記少なくとも一部分によって以前に変更された後に、動的に構成可能な回折構成によって変更された少なくとも1つの電磁放射線に関連する情報を受信し、前記試料の前記少なくとも一部分の少なくとも1つが、前記回折構成を用いて、ユーザ又は前記コンピュータハードウェア構成のコンピュータ命令の少なくとも一方によって特定的にターゲティングされる、及び
    b.前記情報に基づいて前記少なくとも1つの画像を生成する
    ように構成された、システム。
  23. 試料の少なくとも一部分の少なくとも1つの画像を生成するための方法であって、コンピュータハードウェア構成が命令を実行した時に、
    前記試料の前記少なくとも一部分によって以前に変更された後に、回折構成によって変更された少なくとも1つの電磁放射線に関連する情報を受信することであって、前記試料の前記少なくとも一部分の少なくとも1つが、前記回折構成を用いて、ユーザ又は前記コンピュータハードウェア構成のコンピュータ命令の少なくとも一方によって特定的にターゲティングされることと、
    前記情報に基づいて前記少なくとも1つの画像を生成することと、
    を含む、方法。
  24. 試料の少なくとも一部分の少なくとも1つの画像を生成するためのシステムであって、
    少なくとも1つの電磁放射線を供給するように構成されたソース構成と、
    ソースから少なくとも1つの電磁放射線を受け、前記試料上に照射パターンを生成するように構成された空間光変調構成と、
    前記照射パターンに基づく前記試料からの戻り放射線を受け、さらなる放射線を供給するように構成された波面変更構成と、
    前記波面変更構成から受け取った前記さらなる放射線に基づいて、前記少なくとも1つの画像を生成するように構成されたイメージング構成と、
    を含む、システム。
  25. 前記試料が生物学的なものである、請求項24に記載のシステム。
  26. 前記波面変更構成は、前記戻り放射線の深度を制御する、請求項24に記載のシステム。
  27. 前記波面変更構成は、前記システム内で固定され、非可動である、請求項24に記載のシステム。
  28. 前記波面変更構成は、前記試料のボリュームサイズに関する情報を増やすように構成される、請求項27に記載のシステム。
  29. 前記イメージング構成による性能が不変である、請求項28に記載のシステム。
  30. 前記少なくとも1つの画像をほぼ最適な性能へとデジタル的に後処理するように構成された処理構成をさらに含む、請求項24に記載のシステム。
JP2015555381A 2013-01-25 2014-01-27 被写界深度3dイメージングslm顕微鏡 Pending JP2016507078A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361756803P 2013-01-25 2013-01-25
US61/756,803 2013-01-25
US201361798747P 2013-03-15 2013-03-15
US61/798,747 2013-03-15
PCT/US2014/013180 WO2014117079A1 (en) 2013-01-25 2014-01-27 Depth of field 3d imaging slm microscope

Publications (1)

Publication Number Publication Date
JP2016507078A true JP2016507078A (ja) 2016-03-07

Family

ID=51228106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015555381A Pending JP2016507078A (ja) 2013-01-25 2014-01-27 被写界深度3dイメージングslm顕微鏡

Country Status (5)

Country Link
US (1) US20150323787A1 (ja)
EP (1) EP2949117A4 (ja)
JP (1) JP2016507078A (ja)
CN (1) CN105379253A (ja)
WO (1) WO2014117079A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146327A (ja) * 2017-03-03 2018-09-20 株式会社日立ハイテクノロジーズ 生体分子分析装置および生体分子分析方法
JP2019027928A (ja) * 2017-07-31 2019-02-21 シスメックス株式会社 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
JP2020060758A (ja) * 2018-06-21 2020-04-16 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 位相マスクおよび顕微鏡を較正するための方法
CN111458318A (zh) * 2020-05-12 2020-07-28 西安交通大学 利用正方晶格结构光照明的超分辨成像方法及系统

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10052497B2 (en) 2005-07-22 2018-08-21 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US8926959B2 (en) 2005-07-22 2015-01-06 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US9274099B2 (en) 2005-07-22 2016-03-01 The Board Of Trustees Of The Leland Stanford Junior University Screening test drugs to identify their effects on cell membrane voltage-gated ion channel
US9238150B2 (en) 2005-07-22 2016-01-19 The Board Of Trustees Of The Leland Stanford Junior University Optical tissue interface method and apparatus for stimulating cells
US20090093403A1 (en) 2007-03-01 2009-04-09 Feng Zhang Systems, methods and compositions for optical stimulation of target cells
WO2007024391A2 (en) 2005-07-22 2007-03-01 The Board Of Trustees Of The Leland Stanford Junior University Light-activated cation channel and uses thereof
WO2008086470A1 (en) 2007-01-10 2008-07-17 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US8401609B2 (en) 2007-02-14 2013-03-19 The Board Of Trustees Of The Leland Stanford Junior University System, method and applications involving identification of biological circuits such as neurological characteristics
US10035027B2 (en) 2007-10-31 2018-07-31 The Board Of Trustees Of The Leland Stanford Junior University Device and method for ultrasonic neuromodulation via stereotactic frame based technique
US10434327B2 (en) 2007-10-31 2019-10-08 The Board Of Trustees Of The Leland Stanford Junior University Implantable optical stimulators
KR20110005280A (ko) 2008-04-23 2011-01-17 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 표적 세포의 광학적 자극을 위한 시스템, 방법 및 조성물
JP5887136B2 (ja) 2008-06-17 2016-03-16 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 細胞発達を制御するための装置および方法
WO2010006049A1 (en) 2008-07-08 2010-01-14 The Board Of Trustees Of The Leland Stanford Junior University Materials and approaches for optical stimulation of the peripheral nervous system
NZ602416A (en) 2008-11-14 2014-08-29 Univ Leland Stanford Junior Optically-based stimulation of target cells and modifications thereto
AU2011227131B2 (en) 2010-03-17 2014-11-13 The Board Of Trustees Of The Leland Stanford Junior University Light-sensitive ion-passing molecules
CN103476456B (zh) 2010-11-05 2017-10-03 斯坦福大学托管董事会 奖赏相关行为的光遗传学控制
WO2012061684A1 (en) 2010-11-05 2012-05-10 The Board Of Trustees Of The Leland Stanford Junior University Upconversion of light for use in optogenetic methods
AU2011323228B2 (en) 2010-11-05 2016-11-10 The Board Of Trustees Of The Leland Stanford Junior University Control and characterization of memory function
CA2816990A1 (en) 2010-11-05 2012-05-10 The Board Of Trustees Of The Leland Stanford Junior University Stabilized step function opsin proteins and methods of using the same
ES2716819T3 (es) 2010-11-05 2019-06-17 Univ Leland Stanford Junior Opsinas quiméricas activadas por luz y métodos de uso de las mismas
EP2635109A4 (en) 2010-11-05 2014-03-19 Univ Leland Stanford Junior OPTICALLY CONTROLLED CNS DYSFUNCTION
US8696722B2 (en) 2010-11-22 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Optogenetic magnetic resonance imaging
US9365628B2 (en) 2011-12-16 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University Opsin polypeptides and methods of use thereof
WO2013126521A1 (en) 2012-02-21 2013-08-29 The Board Of Trustees Of The Leland Stanford Junior University Compositions and methods for treating neurogenic disorders of the pelvic floor
EP2968997B1 (en) 2013-03-15 2019-06-26 The Board of Trustees of the Leland Stanford Junior University Optogenetic control of behavioral state
US9636380B2 (en) 2013-03-15 2017-05-02 The Board Of Trustees Of The Leland Stanford Junior University Optogenetic control of inputs to the ventral tegmental area
EP2991491B1 (en) 2013-04-29 2019-12-25 The Board of Trustees of the Leland Stanford Junior University Devices, systems and methods for optogenetic modulation of action potentials in target cells
CN105829538A (zh) 2013-08-14 2016-08-03 小利兰·斯坦福大学托管委员会 用于控制疼痛的组合物和方法
JP6351951B2 (ja) * 2013-10-22 2018-07-04 浜松ホトニクス株式会社 全反射型光照射装置
JP6355515B2 (ja) * 2014-10-07 2018-07-11 浜松ホトニクス株式会社 光照射装置及び光照射方法
EP3021257A1 (en) * 2014-11-14 2016-05-18 Soundisplay Limited A sensor utilising overlapping signals and method thereof
JP6539052B2 (ja) * 2015-01-20 2019-07-03 浜松ホトニクス株式会社 画像取得装置および画像取得方法
JP6300739B2 (ja) * 2015-01-20 2018-03-28 浜松ホトニクス株式会社 画像取得装置および画像取得方法
US10341640B2 (en) * 2015-04-10 2019-07-02 The Board Of Trustees Of The Leland Stanford Junior University Multi-wavelength phase mask
DE102015209758A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und Verfahren zur Strahlformung und zur Lichtblattmikroskopie
WO2016209654A1 (en) * 2015-06-22 2016-12-29 The Board Of Trustees Of The Leland Stanford Junior University Methods and devices for imaging and/or optogenetic control of light-responsive neurons
JP6796917B2 (ja) * 2015-09-18 2020-12-09 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP6722883B2 (ja) * 2016-04-01 2020-07-15 国立大学法人浜松医科大学 画像取得装置および画像取得方法
WO2017177180A1 (en) * 2016-04-08 2017-10-12 ARIZONA BOARD OF REGENTS on behalf of THE UNIVERSITY OF ARIZONA, A BODY CORPORATE Systems and methods for extended depth-of-field microscopy
JP2019518242A (ja) * 2016-05-30 2019-06-27 ザ トラスティース オブ コロンビア ユニバーシティ イン ザ シティ オブ ニューヨーク 位相変調素子および像再構成部を用いるscape顕微鏡法
US11727294B2 (en) * 2016-07-29 2023-08-15 Trustees Of Princeton University Method and system for quantum information processing and computation
CN107015356B (zh) * 2017-03-17 2019-08-16 中国科学院自动化研究所 显微图像的显示方法、显示装置及包含该装置的成像系统
US11294165B2 (en) 2017-03-30 2022-04-05 The Board Of Trustees Of The Leland Stanford Junior University Modular, electro-optical device for increasing the imaging field of view using time-sequential capture
EP3607365A1 (en) 2017-04-04 2020-02-12 University of Utah Research Foundation Phase plate for high precision wavelength extraction in a microscope
CN107356581B (zh) * 2017-08-02 2020-03-06 中国科学院苏州生物医学工程技术研究所 全深度远端扫描的拉曼光谱仪
CN107621701B (zh) * 2017-09-07 2023-08-25 苏州大学 产生双指数贝塞尔高斯光束的方法及系统
US10928621B2 (en) * 2017-10-31 2021-02-23 Samantree Medical Sa Sample dishes for use in microscopy and methods of their use
CN108398774B (zh) * 2018-01-18 2021-03-02 中国科学院广州生物医药与健康研究院 一种光片显微镜
US11703800B2 (en) 2018-03-21 2023-07-18 The Board Of Trustees Of The Leland Stanford Junior University Methods for temporal and spatial multiplexing of spatial light modulators and systems for same
DE102018107356A1 (de) * 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
JP2022500675A (ja) * 2018-09-11 2022-01-04 エヌライト, インコーポレイテッドNlight, Inc. 3次元撮像のための電気光学変調器およびその使用方法と製造方法
US11946854B2 (en) * 2018-12-26 2024-04-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
EP3805834B1 (en) * 2019-10-10 2023-12-06 Leica Instruments (Singapore) Pte. Ltd. Optical imaging system and corresponding apparatus, method and computer program
CN110927947B (zh) * 2019-11-15 2022-03-18 上海安翰医疗技术有限公司 相衬显微成像系统及其成像方法
US11921271B2 (en) 2020-05-22 2024-03-05 The Board Of Trustees Of The Leland Stanford Junior Univeristy Multifocal macroscope for large field of view imaging of dynamic specimens
US11915360B2 (en) 2020-10-20 2024-02-27 The Regents Of The University Of California Volumetric microscopy methods and systems using recurrent neural networks
CN113349740A (zh) * 2021-08-05 2021-09-07 清华大学 基于深度光学的微型头戴式显微镜成像装置及方法
WO2023081568A1 (en) * 2021-11-04 2023-05-11 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for three-dimensional structured illumination microscopy with isotropic spatial resolution
CN114371549B (zh) * 2021-12-27 2022-10-28 华中科技大学 一种基于多焦复用透镜的定量相位成像方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206129A (ja) * 1996-12-12 1998-08-07 Rudolf Groskopf 対象物の3次元測定装置および測定方法
JP2003121749A (ja) * 2001-08-09 2003-04-23 Olympus Optical Co Ltd 顕微鏡
JP2004219537A (ja) * 2003-01-10 2004-08-05 Nikon Engineering Co Ltd 共焦点顕微鏡
JP2006235420A (ja) * 2005-02-28 2006-09-07 Yokogawa Electric Corp 共焦点顕微鏡
JP2010164635A (ja) * 2009-01-13 2010-07-29 Nikon Corp 共焦点顕微鏡
JP2012503798A (ja) * 2008-09-25 2012-02-09 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 構造物の光刺激およびイメージングを提供するためのデバイス、装置、および方法
WO2012153495A1 (ja) * 2011-05-06 2012-11-15 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010058A (ja) * 1998-06-18 2000-01-14 Hamamatsu Photonics Kk 空間光変調装置
DE10338472B4 (de) * 2003-08-21 2020-08-06 Carl Zeiss Meditec Ag Optisches Abbildungssystem mit erweiterter Schärfentiefe
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
KR101165650B1 (ko) * 2007-01-30 2012-07-17 에프. 포스잣 후, 엘.엘.씨. 이미지 전달 장치
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
WO2013097870A1 (en) * 2011-12-29 2013-07-04 Danmarks Tekniske Universitet System for sorting microscopic objects using electromagnetic radiation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206129A (ja) * 1996-12-12 1998-08-07 Rudolf Groskopf 対象物の3次元測定装置および測定方法
JP2003121749A (ja) * 2001-08-09 2003-04-23 Olympus Optical Co Ltd 顕微鏡
JP2004219537A (ja) * 2003-01-10 2004-08-05 Nikon Engineering Co Ltd 共焦点顕微鏡
JP2006235420A (ja) * 2005-02-28 2006-09-07 Yokogawa Electric Corp 共焦点顕微鏡
JP2012503798A (ja) * 2008-09-25 2012-02-09 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 構造物の光刺激およびイメージングを提供するためのデバイス、装置、および方法
JP2010164635A (ja) * 2009-01-13 2010-07-29 Nikon Corp 共焦点顕微鏡
WO2012153495A1 (ja) * 2011-05-06 2012-11-15 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146327A (ja) * 2017-03-03 2018-09-20 株式会社日立ハイテクノロジーズ 生体分子分析装置および生体分子分析方法
JP2019027928A (ja) * 2017-07-31 2019-02-21 シスメックス株式会社 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
US11366097B2 (en) 2017-07-31 2022-06-21 Sysmex Corporation Cell imaging method, cell imaging apparatus, particle imaging method, and particle imaging apparatus
JP2020060758A (ja) * 2018-06-21 2020-04-16 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 位相マスクおよび顕微鏡を較正するための方法
JP7349270B2 (ja) 2018-06-21 2023-09-22 カール ツァイス マイクロスコピー ゲーエムベーハー 位相マスクおよび顕微鏡を較正するための方法
CN111458318A (zh) * 2020-05-12 2020-07-28 西安交通大学 利用正方晶格结构光照明的超分辨成像方法及系统
CN111458318B (zh) * 2020-05-12 2021-06-22 西安交通大学 利用正方晶格结构光照明的超分辨成像方法及系统

Also Published As

Publication number Publication date
CN105379253A (zh) 2016-03-02
WO2014117079A1 (en) 2014-07-31
US20150323787A1 (en) 2015-11-12
EP2949117A4 (en) 2016-10-05
EP2949117A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
JP2016507078A (ja) 被写界深度3dイメージングslm顕微鏡
Quirin et al. Instantaneous three-dimensional sensing using spatial light modulator illumination with extended depth of field imaging
Ji Adaptive optical fluorescence microscopy
Duocastella et al. Fast inertia-free volumetric light-sheet microscope
Gustafsson et al. Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination
US10444520B2 (en) High resolution imaging of extended volumes
US9581798B2 (en) Light sheet-based imaging device with extended depth of field
Booth Adaptive optical microscopy: the ongoing quest for a perfect image
Dan et al. Structured illumination microscopy for super-resolution and optical sectioning
JP5661221B2 (ja) 粒子を超解像位置特定するための方法および光学デバイス
Jiang et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging
Kuang et al. Virtual k-space modulation optical microscopy
Li et al. Interleaved segment correction achieves higher improvement factors in using genetic algorithm to optimize light focusing through scattering media
Tu et al. Accurate background reduction in adaptive optical three-dimensional stimulated emission depletion nanoscopy by dynamic phase switching
Wijesinghe et al. Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams
Wang et al. Adaptive optics in super-resolution microscopy
US10429627B2 (en) Computational microscopy through a cannula
Booth et al. Adaptive optics for fluorescence microscopy
Inochkin et al. Increasing the space-time product of super-resolution structured illumination microscopy by means of two-pattern illumination
Kner et al. Adaptive optics in wide-field microscopy
Tao et al. Adaptive optics confocal microscopy using fluorescent protein guide-stars for brain tissue imaging
Yang et al. Computational nonscanning incoherent superoscillatory imaging
US11156818B2 (en) Flexible light sheet generation by field synthesis
Nylk et al. Light-sheet fluorescence microscopy with structured light
Palacios Doctorado en Ciencias en Óptica con orientación en Optoelectrónica

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180501

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191008