JP2019148801A - 落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 - Google Patents
落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 Download PDFInfo
- Publication number
- JP2019148801A JP2019148801A JP2019052628A JP2019052628A JP2019148801A JP 2019148801 A JP2019148801 A JP 2019148801A JP 2019052628 A JP2019052628 A JP 2019052628A JP 2019052628 A JP2019052628 A JP 2019052628A JP 2019148801 A JP2019148801 A JP 2019148801A
- Authority
- JP
- Japan
- Prior art keywords
- microscope
- imaging
- image
- optical
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
図3.1. 小型蛍光顕微鏡の断面のコンピュータ支援設計(CAD)図面
上記図3.1は、設計思想を具体化して上記原理概説を案内して設計された小型蛍光顕微鏡の断面を示している。現代の蛍光顕微鏡のコアにおける特徴落射蛍光アーキテクチャは、光源及びカメラ−従来の蛍光顕微鏡における卓上要素−が小型蛍光フィルタセット及びマイクロ光学部とここで単一の装置に統合されるという注目すべき事実を除き、それぞれ励起及びエミッション経路を示す青(左向きの矢印及び下向きの矢印)及び緑(上向きの矢印)の矢印から明らかなように保持されている。「統合による小型化」を容易とするための鍵は、フィルタセット及び顕微鏡光学系と光源及びカメラを統合することができることである。半導体エレクトロニクスにおける進歩の活用は、そのような統合を可能とし、そうすることで、述べられた設計目標の実現を可能としている。固体発光ダイオード(LED)−小型で集光光学系との統合に適しており且つ低コストで大量生産可能−が励起光源のために使用される。相補型金属酸化膜半導体(CMOS)イメージセンサがカメラのために使用される。CMOSイメージセンサは、モバイル撮像のニーズによって推進されて近年著しく進歩しており、そのようなイメージセンサを使用することは、携帯電話カメラにおけるそれらのユビキタス使用によってもたらされているいくつかの利点−小型のフォームファクタ、エレクトロニクスとの統合に対する従順性及び低コストで大量に入手の可能性−全て小型蛍光顕微鏡の設計及び開発によく適していることを利用する。
図3.1に示されたLED光源は、ヒートシンクを有するカスタム6mm×6mmのプリント回路基板(PCB)上に搭載された青色LEDである。ドラムマイクロレンズは、その後に4mm×4mmの励起フィルタを通過し、ダイクロイックミラーから偏向し、イメージング経路に入る照明を集光するために使用される。勾配屈折率(GRIN)対物マイクロレンズは、試料上に照明をフォーカスする。試料からの蛍光エミッションは、対物レンズ、ダイクロイック、4mm×4mmエミッションフィルタ、及び、電源及び信号調整電子回路を有するカスタム8.4mm×8.4mmのPCBに搭載されたCMOSイメージセンサ(640×480画素)上にイメージをフォーカスするアクロマートダブレットチューブレンズを通って戻る。LED光源、CMOSカメラ及び全ての光学部品は、励起LED及びCMOSカメラチップなどの個々の要素が異なる用途のニーズのために交換されるのを可能とする本質的にモジュラー設計を有する顕微鏡ハウジングに統合される。顕微鏡ハウジングは、ポリエーテルエーテルケトン(PEEK)で作製され、カメラ位置を調整することによってサブミクロンの精度までフォーカスするのを可能とする内蔵された機械的焦点能力を有する。顕微鏡は、標準USBインターフェースを有する外部データ収集PCBを介してコンピュータにプラグインされることができ、リアルタイムイメージを提供する。
以下のサブセクションにおいて、顕微鏡モジュール及び要素構成の設計が関連する性能メトリックによって詳細に検討される。
イメージング経路は、通常、あらゆる顕微鏡設計の中心であり、顕微鏡のこの特定のモジュールの設計を開始することがおそらく自然である。先に示唆したように、(スペクトルフィルタリング要素を有しない)イメージング経路は、2つのレンズ素子−GRIN対物レンズ及びアクロマートダブレット・イメージングチューブレンズから構成される。GRINレンズは、以下の図3.2に示されるように、正弦波経路内を伝播する光線をもたらす放射状に減少する屈折率分布を有するシリンドリカルレンズである。
対物レンズとしてのGRINレンズの選択は、その小型フォームファクタ及び他のマイクロ光学系のとの統合の容易さ、すなわち、−光ファイバ通信に利用され且つそのようなレンズの開発を最初に推進した属性、及び、−深い撮像対象にアクセスするためのその内視鏡状の幾何学的配置、を利用する。
図3.2. 勾配屈折率(GRIN)レンズにおける光線伝播
以下の図3.3は、2つのレンズ素子及び追加のスペクトルフィルタリング要素を有するイメージング経路全体の光学的光線追跡図である。光線の着色グループは、どのように試料面における点がCMOSカメラ上にイメージングされているかを示している。光線は、試料面における5つの異なる点ソースからCMOSカメラ上のイメージング点まで追跡される。イメージング経路及び全ての光学的光線追跡シミュレーションの設計は、ZEMAXソフトウェアを使用して行われた。
図3.3. 顕微鏡イメージング経路の光学的光線追跡の概略図
顕微鏡の倍率は、4.5−5.5xの範囲に及び、作動距離、すなわち、対物レンズの裏面から焦点が合っている試料面における点までの距離は、焦点面の正確な位置決めに依存し、約150−200μmである。光学的設計の性能は、大抵の場合その解像度によって評価され、これの1つの尺度は、光学的点広がり関数の半値全幅(FWHM)である。軸上においてこの方法で計算されたイメージング経路の横方向の空間解像度は、約1.2μmであり、視野の周辺においては約1.6μまで低下する。しかしながら、達成可能な空間解像度はまた、カメラの画素サイズの関数であることに留意すべきである。
照明経路の適切な設計は、観察中の試料の効率的且つ均一な励起を確保するために重要である。励起光源自体は、おそらく照明経路の最も不可欠な要素であり、試料を励起するために十分でよく制御された照明を提供することができるかどうかを決定する。上述したように、約470nmにおいて照明のスペクトルピークを有する青色LEDが励起光源として使用された。以下の図3.4は、LEDの放射を示しており、図3.5は、その測定されたスペクトルプロファイルを示している。LEDは、ヒートシンクを備えたカスタム6mm×6mmのPCB上に搭載された。ヒートシンクの目的は、動作中にLEDの接合部温度を安定に維持することを目的としている。LED照明出力は、一次オーダーで駆動電流によって線形であるが、強い温度依存性を呈する。20−30mAの駆動電流は、LED定格の最大駆動電流の約0.1倍であり、試料において必要な照明電力を供給するのに十分であった。通常、所定の駆動電流について、LED接合部は、LEDがオンになり且つLED照明出力が安定した後、約60秒で平衡温度に到達した。
図3.4. 発光ダイオード(LED)励起光源
図3.5. 測定されたLED照明出力スペクトルプロファイル
蛍光フィルタセットは、蛍光エミッションから励起照明を分離し、且つ、励起フィルタ、ダイクロイックミラー及びエミッションフィルタという3つの部品からなる落射蛍光アーキテクチャのコア要素である。使用されたフィルタのセットが従来の卓上蛍光顕微鏡において使用されるものの小型バージョンであったということを除き、これらの3つの部品からなる標準的な蛍光フィルタセットが顕微鏡に使用された。フィルタ及びダイクロイックのスペクトルプロファイル−フルオレセイン及びその反応性誘導体などの合成蛍光プローブ並びに緑色蛍光タンパク質(GFP)などの遺伝的にコード化された蛍光タンパク質の広いパレットをイメージ化するのに適しているスペクトルプロファイルの共通セットが青色励起及び緑色エミッションを可能とするために選択された。特定のスペクトル特性及びフィルタセットの寸法は、以下のとおりである。励起フィルタは、480/40nmのスペクトル及び4mm×4mm×1.05mmの寸法を有するバンドパスフィルタであり、エミッションフィルタはまた、535/50nmのスペクトル及び4mm×4mm×1.05mmの同様の寸法を有するバンドパスフィルタであり、ダイクロイックミラーは、506nmを超える波長を通過し且つ4mm×4.8mm×1.05mmの寸法を有するロングパススペクトルプロファイルを有する。
カメラのためのCMOSイメージセンサの使用は、述べられた設計目標の達成及び小型顕微鏡の実現に向けた手段を可能とする鍵である。CMOSイメージセンサは、CMOS−今日多くの用途のために最も集積回路の設計において一般に使用される技術−で設計及び製造されたデジタルイメージセンサである。しかし、アナログのフィルムベースのイメージングからデジタル電子イメージングへの移行は、CMOSデジタルイメージセンサによってもたらされなかった。電荷結合素子(CCD)技術は、シリコン内の画素のアレイにおいて光子を電子に変換してシーンのデジタルイメージを生成する物理的手段を示すために最初に使用された−デジタルイメージングの時代の先駆けとなり、実際に、CCD技術の2人の先駆者であるウィラード・ボイル及びジョージ・スミスに授与された物理学についての2009年ノーベル賞の半分によってそうすることでその役割について認識された。しかしながら、CMOSイメージングの出現は、デジタルイメージングの進化における重要なマイルストーンであった。CCDデジタルイメージセンサを製造するために必要とされる特殊な半導体ファウンドリとは対照的に、CMOSデジタルイメージセンサは、従来の半導体製造工場で製造されることができる。結果として、CMOSイメージセンサは、非常に低コストで大量生産されることができる。さらにまた、CMOS技術を使用することは、いくつかの固有の性能上の利点を可能とするプラットフォームを提供する。低消費電力で高速なデジタルイメージセンサが実現可能であり、追加回路は、信号処理能力を組み込んで用途ニーズを要求するための新規なアーキテクチャを実装するために画素レベル又はチップレベルで統合することができる。そのような能力の例示は、デジタル画素を有するCMOSイメージセンサの設計及び開発である、すなわち−光子からビットへの変換は画素単位のアナログ−デジタル変換器及びダイナミックメモリによって画素レベルで直接行われ、−例えば、高速イメージング用途のために10000フレーム/秒までのイメージング及びダイナミックレンジ拡大などの高速撮像からの利点を受ける静止及びビデオレートイメージング用途の実装を可能とする[70]。高ダイナミックレンジイメージングの要件は、大抵の場合、赤外線(IR)イメージングに遭遇し、高速での高ダイナミックレンジイメージングのための且つ高い信号忠実度を有するCMOS読み出し回路及びアーキテクチャが実証されている。CMOSイメージセンサはまた、統合された低コストの新たなDNAシーケンシングプラットフォームを可能とするために使用される1つの研究において、生命科学に対する影響を有しており、CMOSイメージセンサは、過剰な用途において今日使用されており、非常に洗練されたカスタムイメージセンサは、より多くの用途を生む可能性が高い能力を有して設計されている。最近の研究は、最先端のCMOSイメージセンサデバイス、回路及びアーキテクチャを具体化しており、サブミクロン画素構造を有する新規な複数の開口アーキテクチャによるイメージングを実証している。
図3.6. 顕微鏡と統合するために選択されたCMOSイメージセンサ
表3.1. CMOSイメージセンサの仕様及びイメージング性能特性評価結果
*高フレームレートは、関心のある小窓を超えることができる(例えば、300×300画素で100fps)
図3.7. CMOSイメージセンサ並びに電力及び信号調整集積回路を有するPCBの概略図
イメージング及び照明経路などの顕微鏡モジュール構成を独立して設計すること、及びカメラなどの主要な顕微鏡要素を特徴付けて評価することは、−互いに独立し且つ統合された装置としての顕微鏡の評価に役立つであろう全体的な設計の観点の種類なしではあるが、顕微鏡の各部の最適化及び評価を可能とする。顕微鏡の製造前にカメラ−すなわちCMOSイメージセンサのイメージング性能が用途のニーズにとって十分であるかどうかを決定するのと同様に、それは、さらに一歩進み、製造前に顕微鏡自体が統合された装置として動作する方法を問うことは、想像力の飛躍ではない。この質問に答える1つのアプローチは、顕微鏡をモデル化することである。そのようなアプローチはまた、大量生産前に集積回路の設計に使用されたものと同様のモデルベースの顕微鏡設計手法を採用することが可能となる。これは、設計プロセス中に顕微鏡性能の最適化を行うのみならず、大量生産前にそのような顕微鏡にわたる「プラグアンドプレイ」動作をシミュレートして評価するのを可能とする。
イメージング性能は、いかなる顕微鏡についての評価の基礎を形成し、これらの小型の接眼レンズを欠く統合された顕微鏡の特定の場合において、撮像されたデジタル画像は、試料読み出しの唯一の手段として機能することから、試料の入力から試料の撮像されたデジタル画像の最終的な出力までのイメージングシステムパイプラインとして顕微鏡をモデル化することは、上述した包括的なモデリングベースの設計手法を実装するためのフレームワークを提供する。試料をイメージングするプロセスは、モデル化されてシミュレートされることができ、顕微鏡の全体的な性能の評価を可能とし、顕微鏡の異なる部分は、全体的な方法で同時に協調設計されて最適化されることができる。具体的には、装置全体のイメージング性能又はシステムメリット関数を最適化する目的で、顕微鏡のイメージング光学系及びカメラの協調設計は、設計者がイメージング電子回路及び処理において洗練した光学系におけるトレードオフの複雑性を探求するのを可能とすることができる。例えば、イメージング光学系における欠陥及び光学収差についての正確性を補償するために、イメージセンサ及び画像処理アルゴリズムにおける進歩を利用することは、最終的な画像品質を犠牲にすることなく、簡便で小型で且つ低コストのイメージング光学系の使用を可能とすることができる。
ZEMAX及びコードVなどの商用光学設計ツールは、顕微鏡のイメージング光学系の分析的最適化及び評価を可能とするが、それらは、ユーザ定義のマルチスペクトルシーンによるイメージベースの分析に容易に適しておらず、それだけで、光学像をデジタル画像に変換するために必要な後続ステップのいずれかから分離される。それゆえに、イメージングシステムパイプラインとして、すなわち統合されたイメージング装置として顕微鏡をモデル化するために開発されるいかなるツールも、最低でも2つのステップを実行する必要がある。第1に、ユーザは、特定の用途のための典型的なイメージング条件によって決定されるような既知の照明特性によって試料(合成シーン)のモデルを指定することができなければならず、この合成シーンが与えられると、設計されたイメージング光学系を使用して光学像を形成するプロセスがモデル化されなければならない。第2に、カメラを使用してこの光学像を撮像してデジタル画像を生成する処理がモデル化されなければならない。それゆえに、そのようなツールフローは、統合された顕微鏡設計のイメージベースの評価を可能とし、設計者にフィードバックを提供し、例えば、最適化された統合顕微鏡装置の設計が達成されるまで反復的にイメージング光学系及びセンサの設計のトレードオフの調査を容易とする。イメージングシステムパイプラインの欠陥を矯正するか又は画像ベースの処理をさらに実行するために、ツールフローにカスタムの取得後の画像処理ルーチンを組み込むオプションはまた、そのようなモデル化ベースの顕微鏡の設計手法及び関連ツールフローの有用性及び利用可能性を向上させることになる特徴である。
図3.8. 小型顕微鏡の画像ベースモデル化のためのツールフロー
*VCAM:仮想カメラ、デジタルカメラシミュレータ
ステップ1:シーンの作成
統合された顕微鏡をモデル化における第1のステップは、イメージングシステムパイプラインに対する入力となる試料のモデルを作成している。第1のレンズ面からの試料面の距離及び試料の視野寸法は、ユーザ入力であり、離散シーンを表すために使用される画素数もまた指定することができる。通常の照明強度及びスペクトル特性(すなわち、平均光子束及び波長の分布)の知識を考えると、合成試料ターゲットの放射表現はその後に作成され、各画素は、光子/秒/nm/sr/m2の単位で表される。
標準の光学ターゲットは、大抵の場合、合成試料のシーンをシミュレートする前に一般的なイメージング性能を評価するための基礎となる。一例として、USAF 1951ターゲット又はEIA 1956解像度チャートの正規化されたデジタル画像は、試料のイメージング条件を近似する幾何学的寸法及び照明特性を有する入力シーンとして使用することができる。そのようなシーンの作成において、ユーザは、視野の寸法及び光学系からのシーンの距離、並びにシーンFOVを表す画素数を提供するであろう。より少ない画素数は計算時間を低減するが、画素の最小数は、シーンの離散化がさらに下流のシーンを含む正確な計算のために十分に微細であるように要求される。ユーザはまた、シーンの照明条件をモデル化するのに役立つであろう波長スペクトルにわたる光子束の分布、シーンの放射表現を定義するオプションを有するであろう。このようにして、試料又はイメージングターゲットの表現である任意の正規化されたデジタル画像は、定義された幾何学的寸法を有するマルチスペクトル放射シーンに変換することができる。
モデル化プロセスの次のステップは、設計された顕微鏡光学系を使用してマルチスペクトル放射シーンの光学像を形成することである。顕微鏡光学系のモデルは、光学設計パッケージ(すなわち、ZEMAX)から生成されて抽出され、基本的にイメージング経路の等価レンズ表現である。モデルは、以下の3つの主要要素から構成されている。1)例えば有効焦点距離及び倍率などの経路についての等価近軸光学パラメータ、2)幾何学的歪み及び相対的な照明パラメータ、並びに3)フィールドポイント及び波長依存点広がり関数(PSF)。光学像は、上記モデル要素に対応する3つの連続した段階で計算される。理想的な常軌を逸していない幾何学的イメージが、抽出された近軸光学パラメータから最初に計算される。画像形状及び幾何学的形状の変化並びに口径食及び瞳収差などの影響による軸外点における照明の減少を構成する幾何学的歪み及び相対的な照明パラメータは、それぞれ、物体面における指定された各フィールドポイントにおいて抽出され、視野全体にわたってこれらのパラメータのマップを生成するために、経験的に導出されたn次の多項式との最小二乗フィッティングにおいて使用される。中間の歪んだ光学像は、このプロセスで作成される。最終的な光学像は、この中間像とフィールドポイント及び波長依存性のPSFをコンボリューションすることによって形成される。理想的な線形のシフト不変のイメージングシステムにおいて、PSFは、システムのインパルス応答関数であり、そのため、回折の影響及び光学的非理想を取り込む最終的なフィルタリングされた光学像におけるPSFの結果と中間画像におけるフィールドポイントのコンボリューションが行われる。しかしながら、ほとんどの光学系は、シフト不変でなく、それゆえに、最終的な変換は、線形、回転対称及びシフト変化の光学系を前提としている。したがって、中間画像は、指定されたフィールドポイントの数に対応するいくつかの回転対称アイソプラナティック画像部分に分割され、各画像部分は、その画像部分の境界フィールドポイントにおいて抽出されたPSFから補間されたローカルPSFとコンボリューションされた後、結果が加算される。これらの演算は、マルチスペクトルシーン放射輝度をカメラ面上に入射するマルチスペクトル光学像照射(光子/秒/nm/m2)に変換するために全波長にわたって繰り返される。
統合顕微鏡のモデル化における最後のステップは、光学像の撮像及びそのデジタル画像への変換をシミュレートすることである。デジタルイメージング装置(すなわち、カメラ)のモデルが必要であり、そのようなモデルは、画素及びアレイサイズ、画素量子効率、変換利得、アナログ−デジタル(A/D)変換器の仕様及びカメラノイズパラメータなどの既知の実験的に導出されたカメラパラメータを使用してISETプラットフォーム内で構築することができる。カメラ撮像及びデジタル画像形成プロセスをシミュレートするために、センサ信号への入射光量子束密度の変換が正確にモデル化されなければならない。光量子束密度は、画素量子効率を使用して電流密度に最初に変換され、その後、画素のフォトダイオード領域上に空間的に統合され、理想的には飽和までの入射光強度に正比例する電子におけるセンサあたりの画素信号数(電荷)を生み出す所定のユーザ指定のカメラ露光時間に時間的に統合される。収集された電荷を読み出し電圧に変換するために画素変換利得が使用され、アナログ画素強度をデジタル画素値に変換するためにカメラのA/Dの解像度及び画素のフルスケール範囲が使用され、それにより、生のデジタル画像への光照射画像の変換が完了する。以下の図3.9は、一連のステップをまとめたものである。
図3.9.デジタル画素値への光量子束密度の変換
このセクションは、ツールフローを使用した顕微鏡の画像ベースのモデル化からシミュレーション結果を提供する。最終的な小型顕微鏡の設計のモデルを使用した合成シーンのシミュレーション結果がツールフローにおけるステップを説明するために提示される。「仮想」小型顕微鏡からシミュレートされた光学像及びデジタル画像は、顕微鏡のイメージング性能全体を定性的に評価するのを補助するが、ツールフローはまた、イメージングの忠実度及び空間解像度を考慮して、最終的な小型顕微鏡の設計のイメージング性能を定量的に評価するために使用される。
画像USAF 1951分解ターゲットに対する仮想顕微鏡の使用
ツールフローを説明するために、合成試料シーンとして標準USAF 1951解像度テストターゲットが使用される。以下の図3.10は、−インビボマウス脳のイメージング実験の代表である−焦点面に入射した平均光量子束密度が1011光子/cm2/秒であるような照明によるこのシーンの放射表現−ツールフローにおける第1のステップの結果−を示している。照明は、蛍光エミッション波長の帯域内で550nmの波長で単色であると仮定される。シーンの寸法は、500μm×500μmである。
図3.10. USAF 1951合成シーンの放射表現
図3.11. USAF 1951分解ターゲットの光学像照度。光学像の寸法は、約5倍の光学倍率に対応する約2.5mm×2.5mmである。使用されるイメージング光学モデルは、セクション3.1.1において提示されたイメージング経路の設計に基づいている。
図3.12. USAF 1951分解ターゲットのデジタル画像。画像は、CMOSイメージセンサのアクティブ領域に対応する3.6mm×2.7mmである。
任意の顕微鏡の性能を評価するための最も重要なメトリックの1つは、その解像度、すなわち、達成可能なイメージング空間解像度である。セクション3.1.1において先に触れたように、小型顕微鏡の達成可能なイメージング空間解像度は、イメージング光学系及びカメラの双方の関数−具体的にはCMOSイメージセンサの画素ピッチである。顕微鏡のイメージング光学系の点広がり関数のFWHMは、1.2μmであるが、CMOSイメージセンサの画素ピッチが5.6μmであり、光学倍率が約5倍であることから、達成可能なイメージング空間解像度は、カメラの画素ピッチによって決定されるナイキスト周波数によって制限される。したがって、イメージング空間解像度は、光学系ではなくカメラによって制限される。光学点広がり関数のFWHMがもはや顕微鏡の解像度を評価するための適切なメトリックとしての役割を果たさないことを考えると、顕微鏡の解像能力は、他の手段によって評価されなければならない。USAF 1951テストターゲットなどのイメージング分解ターゲットが有用であるが、顕微鏡の変調伝達関数(MTF)を計算することは、顕微鏡の解像度を定量化するための他の手段を提供する。光学系について、MTFは、点広がり関数のフーリエ変換の振幅であり、それゆえに、周波数にわたるコントラストの低下の指標を提供する周波数領域におけるフィルタである。小型顕微鏡などのイメージング光学系及びカメラを有する統合イメージングシステムについて、統合イメージングシステムのMTFは、システムを介して撮像された鋭いエッジの特定の断面における線広がり関数(LSF)から同様に計算することができる。そのような顕微鏡システムのMTFは、光学MTF及びセンサMTFの双方の効果を取り込み、達成可能な顕微鏡の解像能力及びイメージング空間解像度の尺度を提供する。
図3.13. 傾斜バーのシミュレートされた画像から計算された小型顕微鏡の変調伝達関数(MTF)
この付録は、CMOSイメージセンサにおけるノイズのモデル化とセクション3.1.4、3.2.2及び3.2.3において言及された分析的モデルについてのさらなる詳細を提供する。光量子束密度からセンサ信号への変換のためにここで開発されたノイズモデルは、(時間的及び空間的に均一な照明下での)経時的な各センサ画素信号の変動を考慮した時間的ノイズと、アレイ内の画素全体の信号の空間的変動を考慮した固定パターンノイズ(FPN)の双方を組み込む入力換算加法性ノイズモデルである。時間的ノイズは、信号及び暗光子ショットノイズ、センサ読み出しノイズ及びリセットノイズを含む様々なソースから発生する。FPNは、装置及び読み出し回路のミスマッチに起因する画素にわたる固有の不均一性から発生し、オフセット成分及びゲイン成分を有し、後者は信号に依存している。イメージセンサは、大抵の場合、一般的なオンチップノイズ抑制技術を実行する。そのような技術の1つは、各画素出力が2回サンプリングされ、すなわち、画素がリセットされた直後、及びに統合後の第2の時間が経過したにサンプリングされ、信号読み出しの前に差分がとられる相関二重サンプリング(CDS)である。この操作を介して、CDSは、リセットノイズ及びFPNのオフセット成分を低減する。CDSが常に実行されて(高照度下でのみ著しい)ゲインFPNを無視すると仮定すると、入力信号として画素の光電流を有する画素加法性ノイズモデルあたりのイメージセンサは、以下のように簡略化することができる。
図3.14. CMOSイメージセンサ信号及び加法性ノイズモデル
Q(i)は、収集された全電荷への全画素電流の変換を表す関数であり、
0<i<qQmax/tintの場合、Q(i)=1/q(Itint)電子、
i≧qQmax/tintの場合、Q(i)=Qmax電子
である。ここで、qは、電子電荷であり、tintは、積分時間(カメラ露出)であり、Qmaxは、ウェル容量であり、Qshotは、積分に起因するノイズ電荷を表すr.v.(ポアソン分布ショットノイズ)であり、ゼロ平均及び分散1/q(iph+idc)tint電子2を有するガウス分布である。
Qreadは、カメラ読み出しノイズ(読み出し回路及び量子化に起因するノイズ)に起因するノイズ電荷を表すr.v.であり、ゼロ平均及び標準偏差σread電子を有する。
Qdsnuは、暗信号不均一性(CDSによってキャンセルされないオフセットFPNの成分)に起因するノイズ電荷を表すr.v.であり、ゼロ平均及び標準偏差σdsnu=σidttint/q電子を有すると仮定される。
gは、V/電子におけるセンサ変換利得である。
それゆえに、全入力換算平均ノイズ電力は、
によって与えられる。
入力信号が積分中に変化しないと仮定すると、センサ信号対ノイズ比(SNR)は、
によって与えられる。
したがって、SNRは、センサ読み出しノイズ、暗電流及びDSNUの知識を考えると、特定の入射光量子束及び指定された積分時間に対応する任意の与えられた入力信号光電流についての上式を使用して推定することができる。
図4.1. 標識された主要な要素を有する典型的な製造された小型蛍光顕微鏡。 スケールバーは、メインの写真及び全ての挿入図に適用される。
上記図4.1は、全ての構成部品によって完全に組み立てられた典型的な製造された顕微鏡を示している。挿入図は、上から時計回りに、上部に搭載されたCMOSイメージセンサを有するカメラのPCBと、搭載されたLED及び統合されたヒートシンクを有するLEDのPCBと、蛍光フィルタ及びダイクロイックセットとを示している。
図4.2. 10セント硬貨の隣に撮像された、製造されて完全に組み立てられた顕微鏡
図4.3. 手のひらの上で撮像された、いくつかの製造されて完全に組み立てられた顕微鏡
上記図4.2及び図4.3は、達成された小型化のレベルにおける全体像を提供する、製造されて完全に組み立てられた顕微鏡の写真である。
表4.1. 製造された小型蛍光顕微鏡の仕様及び評価されたイメージング性能
上記表4.1は、典型的な製造された顕微鏡のイメージング性能を特徴とする小型蛍光顕微鏡の仕様及びファイバ束ベースのファイバスコープの性能との比較を列挙している。
インビボマウス脳イメージング用途の文脈において、小型蛍光顕微鏡が主に設計された。列挙された仕様は、設計目標が満たされていることを示している。顕微鏡は、アクティブ動作中にマウスの頭部に負担するのに十分小さい。イメージング性能はまた、高速で、細胞レベルの脳イメージングのために十分であり、実際に期待される性能向上の多くが達成されている(セクション4.1.2を参照)。
顕微鏡の設計及びそのイメージング性能のシミュレーションから予想されたものと製造された顕微鏡の仕様及び実験的に評価されたイメージング性能を比較することは、顕微鏡のイメージング性能をシミュレートするために開発されて使用された設計プロセス及び画像ベースのモデル化フレームワークの有効性の確証に対してフィードバックを提供する。
おそらく、比較に値する最も重要な性能メトリックは解像度である。顕微鏡のMTFに基づいてシミュレートされた顕微鏡の解像度(セクション3.2.3、図3.13)は、2.3μmであると決定された。上記表4.1に記載されたような測定された顕微鏡の解像度は、約2.5μmであると経験的に推定された。顕微鏡の解像度は、シーメンスのStar解像度テストパターンを撮像することによって測定された。
CMOSイメージセンサアレイのサイズ及び光学倍率によって決定される視野もまた、4.5倍の光学倍率で撮像された試料FOV領域に対応する表4.1において報告されたFOVによる期待値と一致している。
イメージング忠実度(SNR)
先において、それは、典型的なインビボ脳イメージング信号が1011光子/cm2/秒のオーダーであり、その大きさの信号に対するSNRの観点で予想されるイメージング忠実度は、約35dBである(分析センサのモデル化及びシミュレーション、セクション3.1.4及びセクション3.2.3)と述べられた。上記表4.1は、センサ上に入射した平均光量子束密度が約3×1011光子/cm2/秒である信号について37dBのSNRを報告している。予想されるよりも僅かに低いSNR(3×1011光子/cm2/秒の平均信号について、分析センサモデル化は39−40dBのSNRを予測するであろう)は、例えば、高信号レベルで現れるゲインFPNに起因して加法性ノイズ成分を組み込んでいないノイズモデル化における簡略化に起因し得る可能性が最も高い。
以上のことから、したがって、測定結果は、一般に、シミュレーション結果及び予想と一致すると結論付けるのに心強いものである。
表4.1はまた、ファイバ束ベースのファイバスコープとの小型蛍光顕微鏡の仕様及びイメージング性能を比較している。ファイバ束の除去は、いくつかの性能上の利点を実現することが予想された。改善の予想領域は、以下にまとめられており、それらの予想の実現について説明する。
ファイバ束の原理の欠点の1つは、剛性であって全く柔軟でなく、マウスの行動の範囲を制限するということであった。小型顕微鏡により、観察されたマウスの行動の範囲は格段に豊富である。データ取得及び制御設定に対して顕微鏡を接続するポリ塩化ビニル(PVC)シースに包まれたワイヤの束があるが、全ての電気信号を伝達するこのケーブルは、非常に薄くて(1.5mmの全直径を有する)柔軟である。
次のセクションにおけるインビボマウス脳イメージングからの実験結果の議論で明らかなように、神経科学の応用の観点からの主要な設計目標の1つ−インビボ脳イメージング中に自由でアクティブなマウスの行動を可能とすること−は、確かに達成された。
コミュテータは、マウスが移動するのにともないファイバ束が回転するのを可能とすることによってより多くの行動の自由度を有するマウスを提供しようとするが、これは、オフライン画像レジストレーションすることによって生の画像のセットの回転の計算的な再アライメントを必要とする視野の回転もたらす。さらにまた、照明フィールドが画像とともに回転せず且つ常に僅かに不均一であることから、時間依存性の照明の不均一性は、計算処理された回転アライメントされた画像に存在する。小型顕微鏡により、顕微鏡全体がマウスに取り付けられていることから、撮像された画像は、常に基準の同じフレームにあることから、そのような制限はもはや存在しない。さらにまた、画像は、電気ケーブルを介して伝送されるときに既にデジタル化される。視野は回転せず、画像の計算的再アライメントは必要とされず、回転するFOVに関連付けられた照明の不均一性は存在しない。
ファイバ束−シングルコア、ステップインデックス光ファイバの集合体−は画素化され、達成可能な空間解像度を制約する。小型顕微鏡の測定された解像度は、実際にファイバスコープによって達成されるよりも優れているが、小型顕微鏡の解像度は、カメラによって制限され、且つ、CMOSイメージセンサ技術の進歩及び顕微鏡のイメージング光学系のいかなる再設計も有しない画素スケーリングの現在の傾向を単に利用することにより、光学的に制限される1.2μmの解像度に向けたさらなるスケーリングのための可能性を有することに留意することが重要である。したがって、小型蛍光顕微鏡の解像度は、1.2μm(及び光学的再設計及び/又は解像度向上技術を超えて)にスケーラブルであるのに対して、ファイバスコープによって達成可能な解像度は、ファイバ束の画素化によって本質的に制約されたままである。
小型顕微鏡によって撮像することができる試料の視野領域は、ファイバスコープによって撮像することができるものよりも4−5倍大きい。ファイバスコープについて、撮像可能な試料FOV領域は、ファイバ束径によって制約されるのに対して、小型顕微鏡によって撮像することができるFOV領域は、CMOSイメージセンサのアクティブ領域及び光学倍率によって決定される。
ファイバスコープの主な制限は、ファイバ束に起因するエミッション光子スループットの損失であった。典型的な脳イメージング実験中におけるシステムの様々な点での光子束レベルの経験的評価は、試料に近かったファイバ束の端部からEMCCDカメラまでの光子スループットにおける合計で約5倍の損失を明らかにした。ファイバ束の除去により、約5倍の光子スループットの予想される改善が小型顕微鏡によって達成された。それゆえに、表4.1において報告されたように、励起パワーと同じレベルにより、エミッション光子スループットにおける5倍の改善は、イメージング忠実度(SNR)における約7dBの改善をもたらす。エミッション光子スループットの改善による利益はまた、励起パワーの低減を実現することができ、それにより、より長いイメージング期間を可能とする。低減した励起パワーは、光退色及び光毒性の影響を軽減する。例えば、約30dBのさらに良好なイメージング忠実度が得られる約5倍の励起パワーの低減は、はるかに大きなデータセットの生成を可能とするほぼ5倍長いイメージング期間を可能とする。
以上のことから、小型蛍光顕微鏡は、インビボ脳イメージングのための必要なイメージング性能を保有するのみならず、自由に行動するマウスにおけるインビボ脳イメージングのための先の最先端の蛍光顕微鏡により、実際にファイバスコープに比べていくつかの面で明確に良好に機能することは明らかである。顕微鏡の総質量は、−アクティブ行動中にマウスが負担するのに十分小さい−指定されていた3gの質量予算の3分の2未満である。完全に機能する顕微鏡のバッチの製造は、小型顕微鏡の設計が最終的な量産にとってスケーラブルであるという主張に信憑性を貸す役割を果たしてきた。したがって、本質的にスケーラブルな設計をもたらすことに加えてファイバ束を除去することによっていくつかの性能利益を実現するという目的に関連して最初に述べられた設計目標−光源、光学系、フィルタ及びカメラを単一の装置に統合することによるベンチトップ蛍光顕微鏡の小型化−が達成された。
動物の行動と因果細胞プロセスを相関させるための探求の中で自由に行動するマウスにおいて蛍光顕微鏡によってインビボ脳イメージングを実行するための有効な手段でそれらを提供する技術を神経科学者が備えるという目標は、小型蛍光顕微鏡の開発のための包括的なインスピレーションであり、2つの特定の実験的パラダイムは、特定の科学的な関心であり、顕微鏡の性能を検証するために役立った。第1は、自由でアクティブなマウス運動行動時の−運動制御の正確な調整及び運動学習に関与している脳の領域−である小脳における血管系及び微小循環系のイメージングへの欲求であった。そのようなパラダイムは、血行動態、脳活動及び行動の結びつきをより良好に理解するために、細胞レベルでの血行動態を研究しようとし、脳血管疾患の研究に向けられる。第2は、同様にマウスが自由且つアクティブな行動に従事するときの小脳におけるプルキンエ細胞のカルシウム動態のイメージングへの欲求であった。このパラダイムは、神経科学者に興味がある対応する動物の行動と神経活動を相関させる研究の種類を例示する。これらの2つの実験パラダイムの科学的な目的及びそれぞれからの結果は、詳述されて後続するサブセクションにおいて説明される。しかしながら、それらの議論を進める前に、小型蛍光顕微鏡による行動マウスのインビボ脳イメージングを実行する方法が簡単に提示される。
図4.4. インビボ脳イメージング実験のための行動アリーナ及び実験セットアップ
小脳皮質におけるバルク血行動態応答は、より多くの行動中に発生することが知られている。個々の毛細血管が行動中にどのように反応するかは、研究されていないままであるが、脳機能マッピングに広く使用される血行動態信号の生理学的基盤の理解に向けて検討されなければならない。これらの目標に対処することは、覚醒して行動するマウスにおける小脳血管系及び微小循環系の高速な細胞レベルのイメージングを実行する必要性のための基礎を形成する。
図4.5. 微小循環系の動画からの単一フレーム
図4.6. 行動するマウス及び撮像された対応する脳FOVのコンポジットビデオからのスナップショット。(左)行動アリーナにおいて運動ホイール上を走っている、小型顕微鏡が脳に搭載されたマウス。(右)リアルタイムで撮像された対応する脳FOV。
上記報告された実験結果は、アクティブ行動時のマウスにおけるインビボ脳イメージングのための小型顕微鏡の性能を検証するのみならず、血行動態、脳活動及び行動との関連についての仮説を検証しようとする科学的研究を行うための有効なツールとしての使用を実証するのに役立つ。
第2のインビボ脳イメージング実験は、−神経科学における長年の目標である−小型蛍光顕微鏡が動物の行動と神経回路活動とを相関させようとする研究における有効なツールとして使用可能な方法を実証するのに役立つ。全部で4匹のマウスについての異なる行動状態にわたって小脳虫部における小脳プルキンエ細胞の樹状突起のCa2+スパイク活動が検討された。小脳皮質への蛍光Ca2+標識の注入後、マウスの頭蓋上に配置された小型蛍光顕微鏡は、同時に最大で206個の個々の神経細胞からのCa2+スパイクの記録を提供することができた。これらのスパイクは、プルキンエ神経細胞の複合体(Na+及びCa2+)活動電位のCa2+成分を表す。以下の図4.7は、イメージングセッション中におけるCa2+スパイク活動及び対応するマウスの行動のコンポジットビデオからのスナップショットを示している。
図4.7. プルキンエ細胞におけるCa2+スパイク活動及び対応するマウスの行動のコンポジットビデオからのスナップショット。(左)行動アリーナにおいて運動ホイール上を走っている小型顕微鏡が脳に搭載されたマウス。マウスの行動の映像は、薄暗い部屋の照明でカラーCCDカメラによって撮像された。(右)リアルタイムで撮像された対応する脳FOV。
行動する動物における光学顕微鏡のための従来の方法は、最も標準的な齧歯類行動アッセイと互換性のない卓上の光学機器を必要としており、多くのマウスを並列にイメージングすることはできなかった5−10。ここで説明した蛍光顕微鏡は、全ての光学部品と統合され且つ自由に行動するマウスの頭蓋に搭載されるように十分に小さい小型化された装置であることから、これらの課題の双方をクリアする。顕微鏡の設計は、小さいが明るい発光ダイオード(LED)及び相補型金属酸化膜半導体(CMOS)イメージセンサを含む安価で高品質の光学部品の大量利用可能性をもたらしている半導体光電子工学における最近の進歩を利用する11。これは、1つのパッケージ−体積で2.4cm3の範囲内に光源からカメラまでの全ての光学部品を組み込むことを可能とした(図1a)(方法)。
顕微鏡の設計。組み立てられたときに約8.4mm×13mm×22mmの体積及び<2gの質量であった同一の設計の8つの小型化された統合顕微鏡を作製した。各顕微鏡は、青色発光LED、蛍光イメージングのためのダイクロイックフィルタセット及びCMOSイメージセンサを有していた。ハウジングは、ポリエーテルエーテルケトンで製造された。
細胞計数。MCF7癌細胞は、カルボキシフルオレセインジアセテート、スクシンイミジルエステルで標識され、6つの異なる濃度にシリアルに希釈され、96個のウェルプレートのウェルに配置され、4つの顕微鏡アレイによって撮像された。カウントは、画像分析によって行われた。
図1:統合された蛍光顕微鏡の設計及び検証
a. 断面における統合された顕微鏡のコンピュータ支援設計。青及び緑の矢印は、それぞれ、照明及びエミッション経路をマーキングしている。
b. 統合された顕微鏡の組み立て。挿入図は、左下から時計回りに、ダイクロイックミラー並びに励起及びエミッションフィルタを保持するフィルタキューブ、相補型金属酸化膜半導体(CMOS)カメラチップを保持するプリント回路基板(PCB)、発光ダイオード(LED)照明光源を保持するPCBを示している。
スケールバーは、5mmであり、(a,b)における全てのパネル及び挿入図に適用される。
a. フルオレセインデキストラン色素の血管内注射後における自由に行動するマウスの小脳皮質における微小血管系。示された画像は、血管系を強調表示する計算である10個の動画の標準偏差である(方法)。着色ドットは、(c,d)における対応する動的測定値の位置をマーキングしている。(a,b)におけるスケールバーは50μmである。
b. (a)の血管系についての赤血球流速のマップ。
c,d. (a)においてマーキングされた4つの血管系についての(c)赤血球流速及び(d)血管径の変化。青色濃淡は、ケージまわりの運動の期間をマーキングしている。赤色濃淡は、運動ホイール上を走っていることを示している。白色濃淡は、マウスが休んでいるか又はほとんど動かない場合をマーキングしている。黒色縦線は、同じマウス及び試料フィールドからの他の記録を分離している。
e,f. 安静時と運動行動期間との間で比較した(e)赤血球速度及び(f)血管径。各データは、血管系内の単一の位置を表している。対角線上のデータ点は、運動行動中の速度又は径の上方調整を示している(青色点、ケージまわりの移動;赤色点、ホイール走行)。濃淡青色及び赤色領域は、対角線以下のデータを使用して計算された測定値変動の1つのs.d.推定値の境界を定めている。
g,h. 安静期間と比較した歩行中(青色)又は走行中(赤色)の(g)血管流速の変化及び(h)径の累積ヒストグラム。(挿入図)平均値±s.e.m.は、安静と比較して変化する。(*)は、歩行と走行との間の有意な差異を示している(p<10−2);(†)は、ウィルコクソンの符号順位検定を使用した安静からの有意な差異を示している(p≦10−3)。着色破線で囲まれた領域の上方及び右のヒストグラム部分は、(e,f)における対応する濃淡領域の色の上方にある血管位置についてのデータを表している。
(e−h)におけるデータは、3匹のマウスからの97個の測定位置を含む。
a. 自由に行動するマウスで同定され、Ca2+標識オレゴン−グリーン−BAPTA−1−AMの注入後に小脳表面の平均蛍光画像に重ねられた206個のプルキンエ神経細胞の樹状ツリーの輪郭。各色は、9個の識別されたミクロゾーンのいずれかを示している。塗りつぶされた輪郭は、その活性がb.に示されている神経細胞をマーキングしている。スケールバーは、100μmである。
b. (c)におけるように付番され、(a)においてマーキングされた、塗りつぶされた神経細胞からの蛍光の相対的変化(ΔF/F)。黒色点は、検出されたCa2+スパイクをマーキングしている。スケールバーは、1秒(横);3%ΔF/F(縦)である。
c. 安静、グルーミング及び移動の3つの異なる行動についての神経細胞の対についてのスパイク列相関係数。着色された輪郭は、相関係数のクラスタ分析によって識別されたローカルミクロゾーンを示しており、(a)において示されたミクロゾーンに対応している。
a. Ca2+スパイク(黒色点)は、図3aの神経細胞についてのラスタプロットである。着色濃淡は、マウスの行動(桃色、グルーミング;緑色、移動;灰色、安静;他の小さな動き、青色)を示している。ミクロゾーンラスタ(着色点)は、各ミクロゾーンにおいて識別された神経細胞の>35%(オープンドット)又は>50%(閉鎖点)によるCa2+スパイクを示している。挿入図は、マーキングされた間隔を拡張している。スケールバーは、5秒である。
b. 個々の神経細胞のスパイク(上)及び同期したミクロゾーン行動(下:塗りつぶされていないバー、>35%の細胞が同期;塗りつぶしバー、>50%の細胞)の平均±s.e.mレートは、行動(橙色、グルーミング;緑色、移動;灰色、安静)間の有意な差異を明らかにしている(p<10−27、神経細胞のスパイクレート;p<10−4、同期した行動の速度;ウィルコクソンの符号順位検定)。
c. グルーミング対安静(黄色点)又は移動対安静(緑色点)の期間についてプロットされた個々の細胞についてのスパイクレート(小さなデータ点)及び同期したミクロゾーン行動(>35%の細胞、大きな塗りつぶされていない点;>50%の細胞、大きな塗りつぶし点)。
d. 同期した行動中に発生する細胞のスパイクレートの累積ヒストグラム(>35%の行動、塗りつぶされていない点;>50%の行動、塗りつぶし点;移動、緑色;グルーミング、黄色;安静、灰色)。
(b−d)のデータは、3匹のマウス、336個の細胞及び16個のミクロゾーンからのものである。
2つのプリント回路基板(PCB)は、各統合された顕微鏡内に含まれており(図1)、1つが発光ダイオード(LED)用であり、1つが相補型金属酸化膜半導体(CMOS)カメラチップ用である。これらの基板は、双方とも、外径1.5mmの単一のポリ塩化ビニル(PVC)シースに全て包まれている9本の薄くて柔軟なワイヤ(2本のワイヤがLED基板に且つ7本のワイヤがカメラに)を介してカスタム外部PCBに接続されている。外部PCBは、汎用USBイメージングデータ取得アダプタPCB(カリフォルニア州サンノゼのアプティナイメージング)を介してコンピュータとインターフェースし、リアルタイムの顕微鏡制御及びデータ取得並びに画像の即時表示を可能とする。ここに示されている標識された要素及びシグナリング経路は、給電、LEDの制御、CMOSカメラの制御、画像取得及びデータの転送を担う回路構成の概要を提供する。略語:PD、フラッシュプログラミング装置;OSC、水晶発振器;I2C、2線式集積回路間シリアル通信インターフェース。
a. アレイに組み立てられた4つの顕微鏡の概略図。スケールバーは、1cmである。
b. 複数の顕微鏡は、Alexa−488によるミエリン塩基性タンパク質の蛍光免疫標識後に、野生型及びerbb3変異体ゼブラフィッシュの表現型を明らかにする。白色矢印は、脊髄をマーキングしている。黄色矢印は、野生型魚における背部横神経をマーキングしている。erbb3魚において、シュワン細胞は、この神経上で発展しない。各画像は、異なる顕微鏡によって撮像され、背景蛍光の減算を施した。50μmのスケールバーは、全てのパネルに適用される。
c. 統合された顕微鏡は、96個のウェルプレートにおいて正確な細胞計数アッセイを可能とする。カルボキシフルオレセインで標識された生体MCF7ヒト乳癌細胞のベース濃度(Co=4.0×105細胞/mL)が6つの濃度のそれぞれについて8個の試料ウェルに希釈された。自動化されたアルゴリズムは、画像において細胞をカウントした(図S2)。パネルは、色で示された4つの異なる濃度で識別された個々の細胞による計数結果を示している。生画像は、4つの異なる顕微鏡によって撮像された。100μmのスケールバーは、全ての画像に適用される。
d. 試料希釈に基づく予想に対する測定細胞濃度。線形フィッティング(実線)は、r2=0.995を有する。誤差バーは、各希釈からの8個の試料にわたるs.e.m.である。
カスタム細胞計数アルゴリズム内の分析の連続的な段階(方法)。説明のためにここで使用される生画像は、図S2cの左側パネルに示されている細胞数をもたらした。
(a)カルボキシフルオレセインで標識された生体MCF7ヒト乳癌細胞の生蛍光画像(上)は、コントラスト等化が施された(中央)。そして、画像は、バイナリ形式に変換され、初期セグメンテーションが施された(下)。単一細胞として識別された領域は色でマーキングされている。白色矩形内の領域のさらなる分析は、(b)に図示されている。スケールバーは、100μmである。
(b)形態学的フィルタリングの反復ラウンドは、個々の細胞(中央及び下)への初期セグメンテーション(上)後に残った複数の細胞のクラスタをセグメンテーションした。示された領域は、(a、下方)の白色矩形内に含まれるサブ領域に対応する。収縮及び膨張の2回の反復からの結果が示されている。視野内の全ての細胞は、2回目の反復によって計数された。スケールバーは、50μmである。
動画1:頭蓋に搭載された統合された顕微鏡によってマウスにおいて同時に記録されたマウスの行動及び小脳虫部における微小循環
この動画は、2つの例示行動についてのマウスの行動及び小脳虫部における微小循環系の同時ビデオクリップを提示している。第1の例は、行動アリーナを歩き回るマウスを示している。第2の例は、運動ホイール上を走っているマウスを示している。
行動データ(左パネル)は、オーバーヘッドカメラ及び赤外線照明を用いて30Hzで記録された。微小循環系(右パネル)は、FITCデキストランの静脈内注射後に100Hzで統合された顕微鏡を使用して記録された。この蛍光色素は、血漿を明るく標識し、赤血球が暗いレリーフにおいてみえるのを可能とする。個々の赤血球が毛細血管内を流れているのが明らかである。スケールバーは、100μmである。
1 Hayden, E. C. Microscopic marvels: Microscope for the masses. Nature 459, 632-633, doi:459632a [pii]10.1038/459632a (2009).
2 Wilt, B. A. et al. Advances in light microscopy for neuroscience. Annu Rev Neurosci 32, 435-506, doi:10.1146/annurev.neuro.051508.135540 (2009).
3 Thach, W. T. A role for the cerebellum in learning movement coordination. Neurobiol Learn Mem 70, 177-188 (1998).
4 Raymond, J. L., Lisberger, S. G. Mauk, M. D. The cerebellum: a neuronal learning machine Science 272, 1126-1131 (1996).
5 Helmchen, F., Fee, M., Tank, D. & Denk, W. A miniature head-mounted two-photon microscope: high-resolution brain imaging in freely moving animals. Neuron 31, 903- 912 (2001).
6 Nimmerjahn, A., Mukamel, E. A. & Schnitzer, M. J. Motor behavior activates Bergmann glial networks. Neuron 62, 400-412, doi:S0896-6273(09)00244-X [pii]10.1016/j.neuron.2009.03.019 (2009).
7 Mukamel, E. A., Nimmerjahn, A. & Schnitzer, M. J. Automated analysis of cellular signals from large-scale calcium imaging data. Neuron 63, 747-760, doi:S0896-6273(09)00619-9 [pii]10.1016/j.neuron.2009.08.009 (2009).
8 Dombeck, D. A., Khabbaz, A. N., Collman, F., Adelman, T. L. & Tank, D. W. Imaging large-scale neural activity with cellular resolution in awake, mobile mice. Neuron 56, 43-57 (2007).
9 Flusberg, B. A. et al. High-speed, miniaturized fluorescence microscopy in freely moving mice. Nat Methods 5, 935-938 (2008).
10 Sawinski, J. et al. Visually evoked activity in cortical cells imaged in freely moving animals. PNAS (2009).
11 El Gamal, A. Eltoukhy, H. CMOS image sensors. IEEE Circuits and Device Magazine 21, 6-20 (2005).
12 Andersson, G. Armstrong, D. M. Complex Spikes in Purkinje-Cells in the Lateral Vermis (B-Zone) of the Cat Cerebellum during Locomotion. Journal of Physiology-London 385, 107-134 (1987).
13 Leicht, R. Schmidt, R. F. Somatotopic Studies on Vermal Cortex of Cerebellar Anterior Lobe or Unanesthetized Cats. Experimental Brain Research 27, 479-490 (1977).
14 Jomtell, H., Ekerot, C, Garwicz, M. Luo, X. L. Functional organization of climbing fibre projection to the cerebellar anterior lobe of the rat. J Physiol 522 Pt 2, 297-309 (2000).
15 Glickstein, M., Sultan, F. & Voogd, J. Functional localization in the cerebellum. Cortex, doi:S0010-9452(09)00263-9 [pii]10.1016/j .cortex.2009.09.001 (2009).
16 Logothetis, N. K. Wandell, B. A. Interpreting the BOLD signal. Ann Rev Physiol 66, 735-769 (2004).
17 Ozden, I., Lee, H. M., Sullivan, M. R. Wang, S. S. Identification and clustering of event patterns from in vivo multiphoton optical recordings of neuronal ensembles. J Neurophysiol 100, 495-503, doi:01310.2007 [pii]10.1152/jn.01310.2007 (2008).
18 Fukuda, M., Yamamoto, T. & Llinas, R. The isochronic band hypothesis and climbing fibre regulation of motricity: an experimental study. Eur J Neurosci 13, 315-326, doi:ejnl394 [pii] (2001).
19 Welsh, J. P., Lang, E. J., Suglhara, I. & Llinas, R. Dynamic organization of motor control within the olivocerebellar system. Nature 374, 453-457, doi:l 0.1038/374453 a0 (1995).
20 Apps, R. Garwicz, M. Anatomical and physiological foundations of cerebellar information processing. Nat Rev Neurosci 6, 297-311, doi:nrn1646 [pii]10.1038/nrml646 (2005).
21 Ozden, L, Sullivan, M. R., Lee, H. M. Wang, S. S. Reliable coding emerges from coactivation of climbing fibers in microbands of cerebellar Purkinje neurons. J Neurosci 29, 10463-10473, doi:29/34/10463 [pii]10.1523/JNEUROSCI.0967-09.2009 (2009).
22 Andersson, G. Oscarsson, O. Climbing fiber microzones in cerebellar vermis and their projection to different groups of cells in the lateral vestibular nucleus. Exp Brain Res 32, 565-579 (1978).
23 Marr, D. A theory of cerebellar cortex. J Physiol 202, 437-470 (1969).
24 Kim, J. J., Krupa, D. J. Thompson, R. F. Inhibitory cerebello-olivary projections and blocking effect in classical conditioning. Science 279, 570-573 (1998).
25 Engelbrecht, C. J., Johnston, R. S., Seibel, E. J. Helmchen, F. Ultra-compact fiberoptic two-photon microscope for functional fluorescence imaging in vivo. Opt Express 16, 5556-5564, doi: 157085 [pii] (2008).
26 Rogers, J. D. et al. Imaging performance of a minature integrated microendoscope. J Biomedical Optics 13, 054020(054021)-054020(054026) (2008).
27 Breslauer, D. N., Maamari, R. N., Switz, N. A., Lam, W. A. & Fletcher, D. A. Mobile phone based clinical micrscopy for global health applications. PLoS ONE 4, 1-7 (2009).
28 Cui, X. et al. Lensless high-resolution on-chip optofluidic microscopes for Caenorhabditis elegans and cell imaging PNAS 105, 10670-10675 (2008).
29 Heng, X. et al. Optofluidic microscopy - a method for implementing a high resolution optical microscope on a chip. Lab On a Chip 6, 1274-1276 (2006).
30 Wu, J., Cui, X., Lee, L. M. Yang, C. The application of Fresnel zone plate based projection in optofluidic microscopy. Optics Express 16, 15595-15602 (2008).
31 Seo, S., Su, T., Tseng, D. K., Erlinger, A. Ozcan, A. Lensfree holographic imaging for on-chip cytometry and diagnostics. Lab On a Chip 9, 777-787 (2009).
32 Tian, L. et al. Imaging neural activity in worms, flies and mice with improved GCaMP calcium indicators. Nat Methods 6, 875-881, doi:nmeth.l398 [pii] 10.1038/nmeth.l398 (2009).
33 Mank, M. et al. A genetically encoded calcium indicator for chronic in vivo two-photon imaging. Nat Methods 5, 805-811, doi:10.1038/nmeth.l243 (2008).
34 Carey, R. M., Verhagen, J. V., Wesson, D. W., Pirez, N. Wachowiak, M. Temporal structure of receptor neuron input to the olfactory bulb imaged in behaving rats. J Neurophysioi 101, 1073-1088, doi:90902.2008 [pii] 10.1152/jn.90902.2008 (2009).
35 Jung, J. C, Mehta, A. D., Aksay, E., Stepnoski , R. & Schnitzer, M. J. In vivo mammalian brain imaging using one-and two-photon fluorescence microendoscopy. J Neurophysiol 92, 3121-3133, doi:10.1152/jn.00234.200400234.2004 [pii] (2004).
36 Murayama, M. et al. Dendritic encoding of sensory stimuli controlled by deep cortical interneurons. Nature 457, 1137-1141, doi:nature07663 [pii] 10.1038/nature07663 (2009).
37 Lyons, D. A. et al. erbb3 and erbb2 are essential for Schwann cell migration and myelination in zebrafish. Current Biology 15, 513-524 (2005).
38 Pogoda, H. M. et al. A genetic screen identifies genes essential for development of myelinated axons in zebrafish. Dev Biol 298, 118-131, doi:S0012-1606(06)00924-9[pii] 10.1016/j.ydbio.2006.06.021 (2006).
39 Pepperkok, R. Ellenberg, J. High-throughput fluorescence microscopy for systems biology. Nat Rev Mol Cell Biol 7, 690-696, doi:nrml979 [pii]10.1038/nrml979 (2006).
40 Kachouie, N., Kang, L. & Khademhosseini, A. Arraycount, an algorithm for automatic cell counting in microwell arrays. Biotechniques 47, x-xvi, doi:000113202 [pii]10.2144/000113202 (2009).
41 Brinkmann, M., Lutkemeyer, D., Gudermann, F. Lehmann, J. New technologies for automated cell counting based on optical image analysis ;The Cellscreen'. Cytotechnology 38, 119-127, doi:10.1023/A:1021118501866 (2002).
42 Stone, L. R., Gray, D. R., Remple, K. L. Beaudet, M. P. Accuracy and precision comparison of the hemocytometer and automated cell counting methods. FASEB J 23_MeetingAbstracts, 827 (2009).
43 Arthur, W. B . The Nature of Technology: What It Is and How It Evolves. (Free Press, 2009).
44 Barretto, R. P., Messerschmidt, B. & Schnitzer, M. J. In vivo fluorescence imaging with high-resolution microlenses. Nat Methods 6, 511-512, doi:nmeth.l339 [pii]10.1038/nmeth.1339 (2009).
Claims (26)
- 光センサのアレイを含むイメージ捕捉手段と、
約1mW未満の励起光を、少なくとも0.5mm2である視野内の対象物体に向けるように、そして、前記励起光によって引き起こされた落射蛍光エミッションを、光センサの前記アレイに向けるように構成された、光学機器とを備え、前記光学機器と、光センサのアレイとは、前記視野のイメージについて、少なくとも2.5μmの解像度を提供するために、それぞれ、前記対象物体に十分に近い、
落射蛍光顕微鏡。 - 前記光学機器は、対物レンズと、発光ダイオードと、CMOSイメージセンサアレイとを含み、それぞれが、サイズが1立方インチ(約16.39cm3)未満である統合されたハウジング内に含まれる、請求項1に記載の顕微鏡。
- 前記光学機器は、対物レンズと、発光ダイオードと、CMOSイメージセンサアレイとを含み、それぞれが、統合されたハウジング内に含まれ、ここで、前記光学機器と、光センサのアレイとは、重量が2グラム未満である、請求項1に記載の顕微鏡。
- 前記イメージ捕捉手段における、かつ、前記対象物体の、光学倍率は、5以下である、請求項1に記載の顕微鏡。
- 前記光学機器は、前記励起光を提供する光源と、光センサの前記アレイと、対物レンズとの間の、セルフアライメントを提供するように構成される、請求項1に記載の顕微鏡。
- 前記光学機器は、リアルタイムイメージングの間、光センサの前記アレイと、対物レンズとの間の距離を調節することによって、イメージのフォーカシングを提供するように構成される、請求項1に記載の顕微鏡。
- 少なくとも1つの光学フィルタ要素と、前記励起光を生成する光源とを更に含み、ここで、前記少なくとも1つの光学フィルタ要素と、前記光源と、光センサの前記アレイとは、前記顕微鏡から取り外される、及び前記顕微鏡に再取り付けされるように構成される、請求項1に記載の顕微鏡。
- 前記光学機器と、光センサの前記アレイとは、前記視野のイメージについて、少なくとも2.5μmの解像度を、少なくとも36Hzのレートにおいて提供するために、それぞれ、前記対象物体に十分に近い、請求項1に記載の顕微鏡。
- 6mW未満を提供するエネルギー源から励起光を生成するように構成された、光源と、
センサアレイを含むイメージング回路手段と、
少なくとも0.5mm2である視野について、少なくとも2.5μmのイメージ解像度を提供するために、前記光源、前記イメージセンサアレイ、及び対象物体に十分に接近して動作するように構成された、対物レンズと
を備える、落射蛍光顕微鏡。 - サイズが1立方インチ(約16.39cm3)未満である落射蛍光顕微鏡であって、前記顕微鏡は、
光を、イメージング対象を含む視野に向けるように構成された、光励起配置と、
向けられた光と、前記イメージング対象との間の相互作用によって引き起こされた蛍光から、イメージデータを生成するように構成された、光センサアレイを含むイメージング回路と、
前記蛍光を、前記光センサアレイに、0.5mm2にわたって、かつ、少なくとも2.5μmの解像度で描かれるための前記イメージデータのため、十分な強度及びフォーカスを伴って向けるように構成された、光学配置と
を備える、顕微鏡。 - サイズが1立方インチ(約16.39cm3)未満であるポータブルハウジング
を備える、イメージング装置であって、前記ポータブルハウジングは、
励起光を提供する、励起源と、
第1の端と、第2の端とを有する、光学経路を提供する、細長い機器と
を備え、前記細長い機器は、
前記光学経路の前記第1の端における対物レンズと、
前記励起光を、前記対物レンズに向けるように構成及び配置された、1つ以上の励起要素と、
前記対物レンズから受け取られた落射蛍光エミッション光から、前記光学経路の前記第2の端における焦点面を提供するように構成及び配置された、1つ以上のエミッション要素と
前記焦点面において配置された、かつ、前記落射蛍光エミッション光から、対象物体のイメージを捕捉するように構成及び配置された、光センサのアレイを含む、イメージング回路と
を含み、前記イメージは、複数の個々の毛細血管を捕捉するための十分な視野と、前記個々の毛細血管を相互に区別するための十分な解像度とを有する、イメージング装置。 - 前記対物レンズは、ほぼ平行にされた落射蛍光エミッション光を、前記光学経路内に向け、前記十分な解像度は、毛細血管を通って流れている個々の赤血球を区別する、又は解像することが可能である、請求項11に記載のイメージング装置。
- 光センサの前記アレイは、CMOSセンサを含む、請求項11に記載のイメージング装置。
- 前記細長い機器は、前記対物レンズと、光センサの前記アレイとの間の、前記光学経路内に配置された、アクロマティックレンズを更に含み、前記アクロマティックレンズは、前記対物レンズからの、平行にされた落射蛍光を受け取り、前記平行にされた落射蛍光を、光センサの前記アレイに対応する焦点面上にフォーカスさせるように構成される、請求項11に記載のイメージング装置。
- 前記励起源は、発光ダイオードである、請求項11に記載のイメージング装置。
- 前記細長い機器は、前記光学経路内に配置された、かつ、前記励起源からの前記励起光を、前記対物レンズに反射し、前記対物レンズからの前記落射蛍光エミッション光を通過させるように構成された、ダイクロイックミラーを更に含む、請求項11に記載のイメージング装置。
- 前記イメージング装置は、前記対象物体の連続したイメージを、少なくとも50Hzのレートで捕捉するように構成及び配置され、前記イメージは、複数の個々の毛細血管を捕捉するための十分な視野と、前記個々の毛細血管を相互に区別する、かつ、毛細血管を通って流れている個々の赤血球を区別するための、十分な解像度とを有する、請求項11に記載のイメージング装置。
- 前記励起源は、前記励起源を別の励起源と交換することを可能にする、締結要素を使用して、前記細長い機器に物理的に接続される、請求項11に記載のイメージング装置。
- 前記細長い機器は、前記対物レンズと、光センサの前記アレイとの間の、前記光学経路内に配置された、エミッションフィルタを更に含み、前記エミッションフィルタは、前記落射蛍光エミッション光の波長を含む、帯域通過を有するように構成される、請求項11に記載のイメージング装置。
- 前記細長い機器は、前記イメージのフォーカシングを可能にするために、前記光学経路内の光学要素を調節するように構成される、請求項11に記載のイメージング装置。
- 前記イメージング装置は、移動している生体の、インビボのイメージを捕捉するように構成される、請求項11に記載のイメージング装置。
- 捕捉されたイメージを、デジタルデータとして送信する、送信器回路を更に含む、請求項11に記載のイメージング装置。
- 前記ハウジングに結合された、別の光学システムへの、インタフェースを更に含む、請求項11に記載のイメージング装置。
- 前記装置は、外部光学データ記録/設定システムとインタフェースするための、同期化回路を含み、ここで、前記同期化回路は、前記イメージング装置と、前記外部光学データ記録/設定システムとの間で通信されるデータのための、同期化情報を提供する、フレームアクティブ信号を通信するように構成及び配置される、請求項11に記載のイメージング装置。
- 慢性実験の間の、共通イメージング位置の反復イメージングのための、正確な顕微鏡アライメントを可能にするために、支持構造物のベースプレートに、前記落射蛍光顕微鏡を取り付けるステップ、及び再度取り付けるステップを含む、請求項1に記載の顕微鏡装置を使用する方法。
- 慢性実験の間の、共通イメージング位置の反復イメージングのための、正確な顕微鏡アライメントを可能にするために、支持構造物のベースプレートに、前記落射蛍光顕微鏡を取り付けるステップ、及び再度取り付けるステップを含む、請求項10に記載のイメージング装置を使用する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019052628A JP2019148801A (ja) | 2019-03-20 | 2019-03-20 | 落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019052628A JP2019148801A (ja) | 2019-03-20 | 2019-03-20 | 落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016001864A Division JP2016118792A (ja) | 2016-01-07 | 2016-01-07 | 高度なイメージング特性を有する顕微鏡イメージング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019148801A true JP2019148801A (ja) | 2019-09-05 |
Family
ID=67850552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019052628A Pending JP2019148801A (ja) | 2019-03-20 | 2019-03-20 | 落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019148801A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458312A (zh) * | 2020-03-09 | 2020-07-28 | 哈尔滨工业大学 | 一种软脆光学晶体加工表层微区荧光性缺陷检测光学系统 |
CN111583292A (zh) * | 2020-05-11 | 2020-08-25 | 浙江大学 | 一种面向双光子钙成像视频数据的自适应图像分割方法 |
CN112415002A (zh) * | 2020-11-10 | 2021-02-26 | 之江实验室 | 一种基于图像传感器的多模态传感器件 |
CN113827192A (zh) * | 2021-10-08 | 2021-12-24 | 北京大学 | 无线微型荧光显微成像装置及其应用 |
CN116500010A (zh) * | 2023-06-25 | 2023-07-28 | 之江实验室 | 荧光显微成像系统及其方法、荧光显微检测装置 |
US20230389777A1 (en) * | 2022-06-07 | 2023-12-07 | Karl Storz Imaging, Inc. | Sterile Calibrating Cap and Methods for Using the Same on an Endoscope |
CN117705775A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 多色荧光显微成像系统、成像方法、自动聚焦方法 |
-
2019
- 2019-03-20 JP JP2019052628A patent/JP2019148801A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458312A (zh) * | 2020-03-09 | 2020-07-28 | 哈尔滨工业大学 | 一种软脆光学晶体加工表层微区荧光性缺陷检测光学系统 |
CN111583292A (zh) * | 2020-05-11 | 2020-08-25 | 浙江大学 | 一种面向双光子钙成像视频数据的自适应图像分割方法 |
CN111583292B (zh) * | 2020-05-11 | 2023-07-07 | 浙江大学 | 一种面向双光子钙成像视频数据的自适应图像分割方法 |
CN112415002A (zh) * | 2020-11-10 | 2021-02-26 | 之江实验室 | 一种基于图像传感器的多模态传感器件 |
CN113827192A (zh) * | 2021-10-08 | 2021-12-24 | 北京大学 | 无线微型荧光显微成像装置及其应用 |
CN113827192B (zh) * | 2021-10-08 | 2023-12-05 | 北京大学 | 无线微型荧光显微成像装置及其应用 |
US20230389777A1 (en) * | 2022-06-07 | 2023-12-07 | Karl Storz Imaging, Inc. | Sterile Calibrating Cap and Methods for Using the Same on an Endoscope |
CN116500010A (zh) * | 2023-06-25 | 2023-07-28 | 之江实验室 | 荧光显微成像系统及其方法、荧光显微检测装置 |
CN116500010B (zh) * | 2023-06-25 | 2024-01-26 | 之江实验室 | 荧光显微成像系统及其方法、荧光显微检测装置 |
CN117705775A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 多色荧光显微成像系统、成像方法、自动聚焦方法 |
CN117705775B (zh) * | 2024-02-05 | 2024-04-26 | 中国科学院长春光学精密机械与物理研究所 | 多色荧光显微成像系统、成像方法、自动聚焦方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2015272003B2 (en) | Microscopy imaging device with advanced imaging properties | |
JP2019148801A (ja) | 落射蛍光顕微鏡を使用する方法、イメージング装置を使用する方法、及び落射蛍光顕微鏡 | |
Scott et al. | Imaging cortical dynamics in GCaMP transgenic rats with a head-mounted widefield macroscope | |
Ghosh et al. | Miniaturized integration of a fluorescence microscope | |
Rumyantsev et al. | Fundamental bounds on the fidelity of sensory cortical coding | |
JP2016118792A (ja) | 高度なイメージング特性を有する顕微鏡イメージング装置 | |
Skocek et al. | High-speed volumetric imaging of neuronal activity in freely moving rodents | |
US11199691B2 (en) | Imaging signal extraction apparatus and methods of using same | |
Aharoni et al. | Circuit investigations with open-source miniaturized microscopes: past, present and future | |
Adams et al. | In vivo fluorescence imaging with a flat, lensless microscope | |
Wang et al. | Cable-free brain imaging for multiple free-moving animals with miniature wireless microscopes | |
Scherrer et al. | A novel optical design enabling lightweight and large field-of-view head-mounted microscopes | |
Zhang et al. | A Systematically Optimized Miniaturized Mesoscope (SOMM) for large-scale calcium imaging in freely moving mice | |
US20230218173A1 (en) | Endoscopic imaging and patterned stimulation at cellular resolution | |
Ghosh | Miniature and Mass-Producible Fluorescence Microscopes for Biomedical Imaging | |
JP2019082708A (ja) | 高度なイメージング特性を有する顕微鏡イメージング装置、落射蛍光顕微鏡装置、及び落射蛍光顕微鏡装置を使用する方法 | |
Xue | Computational Miniature Mesoscope for large-scale 3D fluorescence imaging | |
Kwan | Toward reconstructing spike trains from large‐scale calcium imaging data | |
Aharoni | Miniscope-LFOV: A large field of view, single cell resolution, miniature microscope for wired and wire-free imaging of neural dynamics in freely behaving animals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190320 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200512 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210427 |