JP2022516467A - 深層学習を使用した表面への２次元蛍光波伝播システムと方法 - Google Patents

Abstract

蛍光顕微鏡方法には、訓練された深層ニューラルネットワークが含まれる。サンプルの少なくとも１つの２Ｄ蛍光顕微鏡画像が、訓練された深層ニューラルネットワークに入力される。入力画像には、ピクセルごとに、入力画像の平面からサンプル内にユーザ定義または自動生成された表面への軸方向の距離を表すデジタル伝播行列（ＤＰＭ）が付加される。訓練された深層ニューラルネットワークは、サンプルの蛍光出力画像を出力する。この画像は、ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている。この方法とシステムは、様々なイメージングモダリティを相互に接続し、様々なサンプル面で共焦点顕微鏡画像と一致する広視野蛍光画像の３Ｄ伝播を可能にする。この方法は、サンプル内の２Ｄまたは３Ｄ表面の画像の時間シーケンス（例えば、タイムラプスビデオ）を出力するために使用することができる。【選択図】図２Ａ

Description

関連出願
［０００１］本出願は、２０１９年１０月８日出願の米国仮特許出願第６２／９１２，５３７号と、２０１８年１２月２６日出願の第６２／７８５，０１２号の優先権を主張するものであり、これらは参照によりその全体が本明細書に組み込まれる。優先権は、３５Ｕ．Ｓ．Ｃ．１１９条およびその他の該当する法令に従って主張される。

技術分野
［０００２］本技術分野は、一般に、サンプルまたは物質の蛍光画像を取得するためのシステムおよび方法に関する。より具体的には、本技術分野は、顕微鏡画像データを用いて蛍光波の伝搬および時間反転を支配する物理法則を本質的に学習する深層ニューラルネットワークを訓練することによるデジタル画像伝播フレームワークを用いて、２Ｄ蛍光画像をサンプル内のユーザが定義する３Ｄ面へと仮想的にリフォーカス（refocus）し、機械的スキャンやハードウェアを追加することなく、単一の２次元（２Ｄ）画像を用いて蛍光サンプルの３次元（３Ｄ）イメージングを実現する蛍光顕微鏡に関する。このフレームワークは、サンプルのドリフト、傾き、および他の収差を補正するのにも使用でき、すべてが単一の蛍光画像の取得後にデジタルで実行される。このフレームワークはまた、異なるイメージングモダリティを互いに相互接続し、単一の広視野蛍光画像を３Ｄリフォーカスして、様々なサンプル面で取得した共焦点顕微鏡画像にマッチさせることができる。

［０００３］３次元（３Ｄ）蛍光顕微鏡イメージングは、生物医学および物理科学、さらには工学において、様々な用途をカバーするのに不可欠である。その幅広い重要性にも拘わらず、３Ｄサンプルの蛍光画像データを高スループットで取得することは、未だに顕微鏡研究の課題である。３Ｄ蛍光情報は通常、サンプルボリューム全体をスキャンすることで取得され、このとき３Ｄの各焦点面または点ごとに複数の２Ｄ蛍光画像／測定値が取得され、これが共焦点、２光子、ライトシート、または様々な超解像度顕微鏡技術の基礎を形成する。しかしながら、スキャンを用いるため、最適化されたスキャニングストラテジーや点像分布関数（ＰＳＦ）エンジニアリングを用いても、ボリュームサンプルの画像取得速度とシステムのスループットは、カメラ／検出器のフレームレートの数分の一に制限される。さらに、異なるサンプル面／点での画像は同時に取得されないため、サンプルの蛍光の時間的変動は必然的に画像アーチファクトの原因となる。また、サンプルの一部がスキャンプロセス中に繰り返し励起されるため、照明の光毒性や蛍光の光退色も懸念される。

［０００４］これらの課題のいくつかを克服するために、サンプルの３Ｄボリューム全体を検出器のフレームレートと同じ速度で画像化できる非走査型３Ｄ蛍光顕微鏡法も開発されている。これらの方法の１つは、蛍光光場顕微鏡法である。このシステムは通常、追加のマイクロレンズアレイを用いて、サンプル光線の２Ｄ角度情報と２Ｄ空間情報をイメージセンサピクセルにエンコードし、この記録された４Ｄ光場から３Ｄ焦点スタック画像をデジタルで再構成することができる。ただし、マイクロレンズアレイを使用すると空間サンプリングレートが低下するため、顕微鏡の横方向と軸方向の両方の解像度が犠牲になる。画像の解像度は３Ｄデコンボリューションや圧縮センシング技術によって改善できるが、これらの方法の成功は、サンプルおよび画像形成プロセスのフォワードモデルに関する様々な仮定に依存する。さらに、これらの計算手法は、画像再構成プロセスの一部としてハイパーパラメータ調整を繰り返し行うため、比較的時間がかかる。これに関連して、サンプルの深度情報を単一画像内の異なる平行位置にマッピングする多焦点顕微鏡法と呼ばれる方法も開発されている。しかしながら、この方法の３Ｄイメージング速度の向上には、イメージング解像度や視野（ＦＯＶ）の低下という代償も伴い、サンプルボリューム内の実験的に事前定義された（固定された）焦点面のセットしか推測できない。別の代替案として、蛍光信号を光学的に相関させてフレネル相関ホログラムを形成し、干渉パターンで３Ｄサンプル情報をエンコードすることもできる。この計算手法では、欠落している位相情報を取得するために、サンプルボリュームイメージングのために複数の画像をキャプチャする必要がある。非常に重要なことに、上記すべての方法や他の多くの方法では、カスタマイズされた光学部品やハードウェアを標準の蛍光顕微鏡に追加する必要があり、大規模なアラインメントとキャリブレーション手順が必要となり、光学セットアップのコストと複雑性を増すだけでなく、潜在的な異常の原因となり、蛍光信号の光子効率を低下させる。

［０００５］本書は、蛍光顕微鏡のデジタル画像伝播システムおよび方法を開示するものであり、顕微鏡画像データを用いて蛍光波伝搬と時間反転を支配する物理法則を本質的に学習する深層ニューラルネットワークを訓練し、機械的なスキャンや追加のハードウェアなしで、単一の２Ｄ画像を用いて蛍光サンプルの３Ｄイメージングを実現する。一実施形態において、深層畳み込みニューラルネットワークが、サンプルボリューム内のユーザ定義または自動生成された表面（２Ｄまたは３Ｄ）に２Ｄ蛍光画像を仮想的にリフォーカスするように訓練される。このデータ駆動型蛍光画像伝播フレームワークは、コヒーレント顕微鏡とインコヒーレント顕微鏡の間のギャップを埋め、イメージングシステムの物理モデルを必要とせず、反復的な検索やパラメータ推定を行うことなく、単一の２Ｄ蛍光画像をユーザ定義または自動生成された表面に迅速に伝播する。蛍光サンプルボリュームの迅速な３Ｄイメージングに加えて、サンプルおよび／または光学系に起因する様々な光学収差をデジタル補正するためにも使用できる。この深層学習ベースのアプローチは、本明細書では「Ｄｅｅｐ－Ｚ」または「Ｄｅｅｐ－Ｚ+」とも呼ばれ、標準的な蛍光顕微鏡のイメージング速度、空間分解能、視野、またはスループットを犠牲にすることなく、単一の２Ｄ広視野蛍光画像（または空間的に設計された点像分布関数を用いて取得された他の画像）を、サンプルボリューム内の２Ｄまたは３Ｄ表面にコンピュータでリフォーカスするために使用される。この方法はまた、複数の２Ｄ広視野蛍光画像を用いて、経時的な画像シーケンス（例えば、ムービーやタイムラプスビデオクリップ）を作成することもできる。

［０００６］このデータ駆動型の計算顕微鏡Ｄｅｅｐ－Ｚフレームワークを用いて、単一の焦点面で取得した蛍光画像のタイムシーケンスを用いて線虫（Caenorhabditis elegans）のニューロン活動を３Ｄでイメージングしてフレームワークをテストしたところ、軸方向のスキャン、追加のハードウェア、または画像の解像度や速度のトレードオフなしで、顕微鏡の被写界深度をデジタル的に２０倍に拡大することができた。さらに、この学習ベースのアプローチでは、サンプルのドリフト、傾き、および他の画像または光学収差を補正することができ、これらはすべて単一の蛍光画像の取得後にデジタルで実行される。この独自のフレームワークは、様々なイメージングモダリティを相互接続し、単一の広視野蛍光画像を３Ｄリフォーカスして、様々なサンプル面で取得された共焦点顕微鏡画像と一致させることが可能である。この深層学習ベースの３Ｄ画像リフォーカス方法は、標準的な３Ｄ蛍光顕微鏡技術に伴う光毒性、サンプルドリフト、収差、および焦点ぼけに関連する課題を軽減し、特に長時間にわたる３Ｄ生物学的サンプルのイメージングとトラッキングに変革をもたらす。

［０００７］一実施形態では、蛍光顕微鏡の方法は、１以上のプロセッサを用いるソフトウェアによって実行される訓練された深層ニューラルネットワークを提供することを含む。サンプルの少なくとも１つの２次元蛍光顕微鏡入力画像が、訓練された深層ニューラルネットワークに入力され、各入力画像が、１以上のユーザ定義または自動生成された表面に付加または関連付けられる。ある特定の実施形態では、画像は、入力画像の平面からのサンプル内のユーザ定義または自動生成された表面の軸方向距離をピクセルごとに表すデジタル伝播行列（ＤＰＭ）が付加される。訓練された深層ニューラルネットワークによって、サンプルの１以上の蛍光出力画像が生成または出力され、これは例えばＤＰＭによって確立または定義されたユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされる。

［０００８］一実施形態では、サンプルの２次元蛍光顕微鏡入力画像の時系列が、訓練された深層ニューラルネットワークに入力され、各画像は、ピクセルごとに、入力画像の平面からのサンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列（ＤＰＭ）が付加され、サンプルの蛍光出力画像の時系列（例えば、タイムラプスビデオまたはムービー）が訓練された深層ニューラルネットワークから出力され、入力画像のＤＰＭに対応するユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされる。

［０００９］別の実施形態では、蛍光顕微鏡画像を出力するためのシステムは、画像処理ソフトウェアが実行されるコンピューティングデバイスを含み、当該画像処理ソフトウェアは、前記コンピューティングデバイスの１以上のプロセッサを用いて実行される訓練された深層ニューラルネットワークを含み、当該訓練された深層ニューラルネットワークは、（１）異なる深度で軸方向にフォーカスされ、異なるＤＰＭ（それぞれが、ピクセルごとに、ユーザ定義または自動生成された軸方向距離を表す）が付加された複数の蛍光画像と、（２）深層ニューラルネットワークのパラメータを確立するために使用される、対応するＤＰＭによって定義された正しい／ターゲットのフォーカス深度でキャプチャされた対応するグラウンドトゥルース蛍光画像サンプルとの一致するペアを用いてトレーニングされ、前記画像処理ソフトウェアは、サンプルの１以上の２次元蛍光顕微鏡入力画像と、画像に付加または関連付けられた１以上のユーザ定義または自動生成された表面とを受信するように構成されている。例えば、各画像にＤＰＭが付加されていてもよい。システムは、訓練された深層ニューラルネットワークから、例えばＤＰＭによって確立された１以上のユーザ定義または自動生成された表面にデジタル伝播またリフォーカスされたサンプルの蛍光出力画像（またはムービーやタイムラプスビデオクリップ形式の複数の画像）を出力する。

［００１０］一実施形態では、訓練された深層ニューラルネットワークは、（１）異なる深度で軸方向にフォーカスし、異なるＤＰＭが付加された第１の顕微鏡モダリティの複数の蛍光画像と、（２）対応するＤＰＭによって定義された正しい／ターゲットの焦点深度で第２の異なる顕微鏡モダリティによってキャプチャされた対応するグラウンドトゥルース蛍光画像との一致するペアを用いて、敵対的生成ネットワーク（ＧＡＮ）で訓練される。

［００１１］一実施形態では、２次元画像を取得するために使用される蛍光顕微鏡は、光学セットアップ内に、軸方向（ｚ方向）に空間的に設計された点像分布関数（ＰＳＦ）を作成するためのハードウェア修正を含んでもよい。これは、例えば、光路（軸方向）に沿って配置された位相および／または振幅マスクを含み得る。二重らせんＰＳＦは、設計されたＰＳＦの１つの例である。さらに、蛍光顕微鏡は、広視野蛍光顕微鏡を含み得る。ライトシートシステムを含んでもよい。他の実施形態では、訓練された深層ニューラルネットワークへの入力画像または深層ニューラルネットワークのための訓練画像は、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を有する共焦点顕微鏡、二次高調波または高高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフ顕微鏡のいずれかの種類の顕微鏡を使用して得られる。

［００１２］図１は、訓練された深層ニューラルネットワークを用いて、ユーザ定義または自動生成された表面にデジタル伝播（リフォーカス）されたサンプルの１以上の蛍光出力画像を生成するシステムの一実施形態を示す。システムは、訓練された深層ニューラルネットワークに入力された１以上の２次元蛍光画像を取得する。次に、訓練された深層ニューラルネットワークは、デジタル伝播された（リフォーカスされた）画像を、３次元表面を含むユーザ定義または自動生成された表面に出力する。 ［００１３］図２Ａは、Ｄｅｅｐ－Ｚネットワークを使用した蛍光画像のリフォーカスを概略的に示す。デジタル伝播行列（ＤＰＭ：digital propagation matrix）を単一の蛍光画像にコンカチネートし、得られた画像を訓練されたＤｅｅｐ－Ｚネットワークに通すことで、サンプルボリューム内の対応する平面で軸方向スキャンを実行したかのように、異なる平面でデジタルリフォーカスされた画像を迅速に取得できる。ＤＰＭは入力画像と同じサイズであり、そのエントリは各ピクセルの軸方向の伝播距離を表し、空間的に不均一になることもある。Ｄｅｅｐ－Ｚ推論の結果は、同じ蛍光ビーズ（３００ｎｍ）の軸方向走査型蛍光顕微鏡の画像と比較され、非常によい一致が得られた。 ［００１４］図２Ｂは、Ｄｅｅｐ－Ｚ推論を用いて測定された４６１個の個別／分離蛍光ナノビーズ（３００ｎｍ）の横方向ＦＷＨＭヒストグラムを示し（Ｎ＝１キャプチャ画像）、機械的な軸方向スキャンを用いて取得された画像（Ｎ＝４１キャプチャ画像）が互いに非常によく一致していることを示している。 ［００１５］図２Ｃは、図２Ｂと同じデータセットの軸方向ＦＷＨＭ測定を示し、Ｄｅｅｐ－Ｚの推論結果と軸方向の機械的スキャン結果が非常によく一致していることを示している。 ［００１６］図３は、Ｄｅｅｐ－Ｚネットワークを使用したＣ．エレガンスニューロン核の３Ｄイメージングを示す。様々なＲＯＩをＤｅｅｐ－Ｚを用いてサンプルボリューム内の様々な平面にデジタルリフォーカスし、得られた画像は、走査型蛍光顕微鏡を用いて取得した対応するグラウンドトゥルース画像と非常によく一致する。右側には、対応するグラウンドトゥルース画像に対する入力と出力の絶対差分画像が表示され、構造類似性指数（ＳＳＩＭ）と二乗平均平方根誤差（ＲＭＳＥ）の値が示され、Ｄｅｅｐ－Ｚの成功がさらに実証されている。スケールバー：２５μｍ。 ［００１７］図４Ａは、Ｄｅｅｐ－Ｚネットワークを使用したＣ．エレガンスニューロン活動を３Ｄで追跡する時系列にわたって取得された中央強度中画像の軸方向に沿った最大強度投影（ＭＩＰ）を示す。赤チャネル（テキサスレッド）はニューロンの核を示す。緑チャネル（ＦＩＴＣ）は、ニューロンのカルシウム活性を示す。合計１５５個のニューロンが同定され、そのうち７０個がカルシウム活性を示した。スケールバー：２５μｍ。ズームイン領域のスケールバー：１０μｍ。 ［００１８］図４Ｂは、１５５個の局在化したニューロンのすべてを３Ｄで示したものであり、深さが色分けされている。 ［００１９］図４Ｃは、７０個のアクティブなニューロンに対応するニューロンのカルシウム活動イベントの３Ｄ追跡を示す。ニューロンは、カルシウム活性パターンの類似性に基づいて３つのクラスタ（Ｃ１～Ｃ３）にグループ化された。これらのニューロンの位置は、図４Ａの円で示されている（Ｃｌ（青）、Ｃ２（シアン）、Ｃ３（黄））。 ［００２０］図５Ａは、傾いた蛍光サンプル（３００ｎｍビーズ）の測定を示す。 ［００２１］図５Ｂは、図５Ａの傾斜面に対応するＤＰＭを示す。 ［００２２］図５Ｃは、測定された生の蛍光画像のイメージを示す。サンプルの傾きにより、左右の部分の焦点が異なる方向にずれている。 ［００２３］５Ｄは、すべての領域を迅速に正しい焦点に合わせるＤｅｅｐ－Ｚネットワーク出力画像を示す。 ［００２４］図５Ｅ、５Ｆは、それぞれ図５Ｃ、５Ｄに示したナノビーズの横方向ＦＷＨＭ値を示し、図５Ｂの非均一なＤＰＭを有するＤｅｅｐ－Ｚネットワークが、焦点が合っていない粒子に焦点を合わせたことを明確に示している。 ［００２５］図５Ｇは、蛍光ビーズ（３００ｎｍビーズ）を用いた円筒形の表面の測定を示す。 ［００２６］図５Ｈは、図５Ｇの曲面に対応するＤＰＭを示す。 ［００２７］図５Ｉは、測定された生の蛍光画像のイメージを示し、中央の領域とエッジは、サンプルの曲率のために焦点が合っていない。 ［００２８］図５Ｊは、すべての領域を迅速に正しい焦点に合わせるＤｅｅｐ－Ｚネットワーク出力画像を示す。 ［００２９］図５Ｋ、５Ｌは、それぞれ図５Ｉ、５Ｊに示したナノビーズの横方向ＦＷＨＭ値を示し、不均一なＤＰＭを有するＤｅｅｐ－Ｚが焦点の合っていない粒子に焦点を合わせたことを明確に示している。 ［００３０］図６Ａは、ＢＰＡＥＣ微小管構造の単一の広視野蛍光画像（６３ｘ／１．４ＮＡ対物レンズ）を、Ｄｅｅｐ－Ｚｒを用いて３Ｄの異なる平面にデジタルリフォーカスし、単一の入力画像から体積情報を取得し、同時に軸方向のセクショニングを実行したものである。 ［００３１］図６Ｂは、対応する平面で共焦点顕微鏡で撮影されたマッチング画像（図６Ａの画像と一致）を示す。 ［００３２］図６Ｃは、対応する平面における一致する広視野（ＷＦ）画像（図６Ａの画像と一致）を示す。これらのスキャンＷＦ画像は、対応する共焦点画像に最も近い高さを示し、２つの画像スタックが個別にスキャンされて互いにデジタル的に位置合わせされるため、６０ｎｍの軸方向オフセットがある。Ｄｅｅｐ－Ｚ＋推論と同じ平面のグラウンドトゥルース共焦点顕微鏡画像の一致を示すために、リフォーカス画像のｘ－ｚ断面とｙ－ｚ断面も示されている。同じ断面（ｘ－ｚおよびｙ－ｚ）が、広視野走査型蛍光顕微鏡についても示され、それぞれのケースで有意な軸方向のぼけが生じている。各断面の拡大画像は、ｚ方向に１．６μｍ（軸方向のステップサイズは０．２μｍ）の範囲であり、点線の矢印は、ｘ－ｚおよびｙ－ｚ断面が撮影された場所を示している。 ［００３３］図６Ｄは、対応する共焦点画像に関するＤｅｅｐ－Ｚ＋出力の絶対差分画像を、ＳＳＩＭおよびＲＭＳＥ値とともに示し、Ｄｅｅｐ－Ｚ＋の性能をさらに定量化している。比較のために、「標準」のＤｅｅｐ－Ｚ出力画像と走査型広視野蛍光顕微鏡画像の絶対差分画像を対応する共焦点画像に関して示すが、どちらも｜Ｔ－Ｄｅｅｐ－Ｚ＋｜と比較してエラーが増加し、ＳＳＩＭが弱くなっている。また、｜ＧＴ－ＷＦ｜と｜ＧＴ－Ｄｅｅｐ－Ｚ｜の定量的な一致は、共焦点画像スタックと広視野画像スタックの間の６０ｎｍの軸方向オフセットの影響が無視できることを示唆している。スケールバー：１０μｍ。 ［００３４］図７は、Ｄｅｅｐ－Ｚネットワークを用いて、３００ｎｍの蛍光ビーズを、その２μｍ上の平面にデジタル的にリフォーカスした入力画像を示し、グラウンドトゥルースはこの平面で取得された機械的にスキャンした蛍光画像である。下段は、上段と同じ画像だが、背景を強調するためにダイナミックレンジを［０，１０］に飽和させたものである。ＳＮＲ値は、最初に各画像のピクセル値にガウスフィットを適用し、ピーク信号強度を求めた。次に、１０秒離れた関心領域（ＲＯＩ）のピクセル（σ^２は近似ガウス分布の分散）を背景とみなし（各画像の赤い点線の円の外側領域で示す）、これらのピクセル値をバックグラウンドノイズとして計算した。Ｄｅｅｐ－Ｚネットワークは、バックグラウンドノイズを除去し、機械スキャングラウンドトゥルース画像と比較して、出力画像のＳＮＲを約４０ｄＢ改善させた。 ［００３５］図８は、Ｚ_{ｊｎｐｕｔ}の入力面からｚ_{ｔａｒｇｅｔ}のターゲット面への蛍光画像のデジタルリフォーカスについての構造的類似性（ＳＳＩＭ）指数および相関係数（Ｃｏｒｒ．Ｃｏｅｆｆ．）の分析を示す。線虫（Ｃ．ｅｌｅｇａｎｓ）サンプルをスキャンした蛍光ｚスタックを、－２０μｍから２０μｍの軸方向範囲内で、１μｍ間隔で作成した。１列目：このスタックのＺ_{ｉｎｐｕｔ}でスキャンした各画像を、ｚ_{ｔａｒｇｅｔ}での画像と比較し、相互相関ＳＳＩＭと相関係数の行列を形成した。ＳＳＩＭと相関係数の両方で、対角線上のエントリから急速に落ちている。２列目（中央）：±７．５μｍの伝播範囲（各パネルのダイヤモンドマーク）に対応する蛍光画像データで訓練したＤｅｅｐ－Ｚネットワークを用いて、Ｚ_{ｊｎｐｕｔ}からｚ_{ｔａｒｇｅｔ}の画像をデジタルリフォーカスした。出力画像を、ＳＳＩＭと相関係数を用いてｚ_{ｔａｒｇｅｔ}でのグラウンドトゥルース画像と比較した。３列目：２列目と同じだが、訓練用の蛍光画像データに最大±１０μｍの軸方向伝播が含まれている点が異なる（２列目と比較して拡大されたダイヤモンドで示す）。これらの結果から、Ｄｅｅｐ－Ｚが蛍光のデジタル伝播を学習していることを確認できるが、それはトレーニングされた軸方向の範囲に限られる（訓練用画像データセットによって決定される）。トレーニング範囲（ダイヤモンドで定義）外では、ＳＳＩＭと相関係数の両方で値は大幅に減少している。 ［００３６］図９Ａ～９Ｔは、線虫の蛍光画像のデジタルリフォーカスを、対応するグラウンドトゥルース（ＧＴ）画像とともに示す。図９Ａおよび９Ｋは、測定された蛍光画像（Ｄｅｅｐ－Ｚ入力）を示す。図９Ｂ、９Ｄ、９Ｌ、９Ｎは、異なるターゲット高さ（ｚ）におけるＤｅｅｐ－Ｚネットワーク出力画像を示す。図９Ｃ、９Ｅ、９Ｍ、および９Ｏは、Ｄｅｅｐ－Ｚ出力と同じ高さで機械的軸方向走査顕微鏡を用いてキャプチャされたグラウンドトゥルース（ＧＴ）画像を示す。図９Ｆ、９Ｐは、Ｄｅｅｐ－Ｚの出力画像とＧＴ画像のオーバーレイ画像を示す。図９Ｇ、９Ｉ、９Ｑ、および９Ｓは、同じ高さでのＤｅｅｐ－Ｚ出力画像および対応するＧＴ画像の絶対差分画像を示す。図９Ｈ、９Ｊ、９Ｒ、および９Ｔは、Ｄｅｅｐ－Ｚ入力画像および対応するＧＴ画像の絶対差分画像を示す。図９Ｇ、９Ｉ、９Ｑ、９Ｓおよび図９Ｈ、９Ｊ、９Ｒ、９Ｔにそれぞれ表示されている各領域の出力とＧＴ、および入力とＧＴについて、構造的類似性指数（ＳＳＩＭ）と二乗平均平方根誤差（ＲＭＳＥ）を計算した。スケールバー：２５μｍ。 ［００３７］図１０は、Ｄｅｅｐ－Ｚネットワークを使用した線虫の頭部ニューロン核の３Ｄイメージングを示す。入力画像とグラウンドトゥルース画像は、４０×／１．４ＮＡの対物レンズを具える走査型蛍光顕微鏡で取得した。焦点面ｚ＝０μｍ（破線の長方形で示す）で取得した単一の蛍光画像をＤｅｅｐ－Ｚネットワークへの入力画像として使用し、サンプルボリューム内の－４～４μｍにわたる様々な面にデジタルリフォーカスした。得られた画像は、対応するグラウンドトゥルース画像とよく一致する。スケールバー：２５μｍ。 ［００３８］図１１は、Ｄｅｅｐ－Ｚネットワークを使用したＢＰＡＥＣの蛍光顕微鏡画像のデジタルリフォーカスを示す。入力画像は、２０×／０．７５ＮＡの対物レンズを使用し、ミトコンドリアとＦ－アクチン構造の画像の赤と緑のチャネルをそれぞれ占めるテキサスレッドとＦＩＴＣのフィルタセットを用いて撮影した。Ｄｅｅｐ－Ｚを用いて、入力画像を焦点面の１μｍ上にデジタルリフォーカスしたところ、緑チャネルのミトコンドリア構造に焦点が合い、機械スキャンした画像（この深さで直接取得）の特徴と一致した。同じ結論が、ｚ＝２μｍでのＤｅｅｐ－Ｚ出力にも当てはまり、ここでは赤チャネルのＦ－アクチン構造に焦点が合う。画像平面から３μｍ以上では、画像コンテンツの詳細がぼやけてくる。対応するグラウンドトゥルース画像に対する入力と出力の絶対差分画像も、ＳＳＩＭ値とＲＭＳＥ値とともに提供されており、Ｄｅｅｐ－Ｚのパフォーマンスを定量化している。スケールバー：２０μｍ。 ［００３９］図１２Ａは、経時的な中央値強度画像の軸方向に沿った最大強度投影（ＭＩＰ）（線虫ニューロン活動トラッキングとクラスタリング）を示す。赤のチャネル（テキサスレッド）はニューロン核を示し、緑のチャネル（ＦＩＴＣ）はニューロンのカルシウム活性を示す。ここでラベル付けされているように、合計１５５個のニューロンが３Ｄスタックで識別された。スケールバー：２５μｍ。ズームイン領域のスケールバー：１０μｍ。 ［００４０］図１２Ｂは、これら１５５個のニューロンのニューロンカルシウム活性強度ΔＦ（ｔ）を、約３．６Ｈｚで３５秒の期間にわたって報告したものである。各ΔＦ（ｔ）の標準偏差のしきい値に基づいて、ニューロンはアクティブなニューロン（右上、７０ニューロン）とアクティブでないニューロン（右下、８５ニューロン）に分けられた。 ［００４１］図１２Ｃは、上位７０個のアクティブなニューロンのカルシウム活性パターンの類似性マトリックスを示している。 ［００４２］図１２Ｄは、類似性行列の上位４０の固有値を示す。固有値ギャップがｋ＝３で示され、これは固有値ギャップヒューリスティックに従ってクラスタ数として選択された（すなわち、固有値が大幅に増加する固有値ギャップの前の最大の固有値までを選択する）。 ［００４３］図１２Ｅは、７０個のアクティブなニューロンにスペクトルクラスタリングを行った後のｋ＝３クラスタの正規化された活動ΔＦ（ｔ）／Ｆ_０を示す。 ［００４４］図１２Ｆは、スペクトルクラスタリング後の類似性マトリックスを示す。スペクトルクラスタリングにより、図１２Ｃの類似性マトリックスの行と列の順序は、図１２Ｆではブロック対角線になるように並べ替えられ、カルシウム活性パターンの３つの個別のクラスタを表している。 ［００４５］図１３Ａは、均一なエントリを有するＤＰＭを付加することにより、サンプルの５μｍ上の平面にデジタルリフォーカスされた３００ｎｍ蛍光ビーズからなる蛍光サンプルを示す。グラウンドトゥルースは、同じ平面での機械的スキャンを用いて撮影されている。垂直平均（画像のｙ軸に沿ったピクセル平均）とその空間周波数スペクトル（垂直平均のフーリエ変換からゼロ周波数を削除したもの）が、対応する画像の横に表示されている。 ［００４６］図１３Ｂは、図１３Ａと同じ入力蛍光画像に、ｘ軸に沿って０．６５μｍから１３０μｍまで周期が変化する正弦波３Ｄ表面を定義するＤＰＭを付加し、軸方向の振動範囲が８μｍ、すなわち入力面に対して正弦波の深さスパンが－１μｍから－９μｍのデジタルリフォーカスを示す。グラウンドトゥルース画像は、軸方向の間隔が０．５μｍのｚスキャンスタックから３Ｄでバイキュービック補間したものである。各ＤＰＭの垂直平均値と、対応する空間周波数スペクトルを各ＤＰＭの下に表示している。差分画像の垂直平均（すなわち、得られるＤｅｅｐ－Ｚ画像から図１３Ａの参照Ｄｅｅｐ－Ｚ画像を差し引いたもの、ならびにグラウンドトゥルース画像から図１３Ａの参照グラウンドトゥルース画像を差し引いたもの）と、対応するスペクトルを各画像の下に示す。 ［００４７］図１３Ｃ～１３Ｆは、相関係数（Ｃｏｒｒ．Ｃｏｅｆｆ．、図１３Ｃ）、構造類似性指数（ＳＳＩＭ、図１３Ｄ）、平均絶対誤差（ＭＡＥ、図１３Ｅ）、および平均二乗誤差（ＭＳＥ、図１３Ｆ）を用いて、ｘ軸に沿って０．６５μｍから１７０μｍまで周期を変化させ、対応するＤＰＭによって定義された同じ３Ｄ正弦波表面でのＤｅｅｐ－Ｚ出力画像をグラウンドトゥルースと比較したものである。図１３Ｃ－１３Ｆの矢印で示すように、約３２μｍ（約１００ピクセルに対応）以上の横方向変調周期で正弦波３Ｄ表面に焦点を合わせる信頼性の高いＤｅｅｐ－Ｚが実現される。同じ結論が、図１３Ｂに報告された結果および空間周波数分析によっても確認された。 ［００４８］図１４は、一実施形態によるＤｅｅｐ－Ｚで使用される生成器と識別器ネットワーク構造を示す。ＲｅＬＵ：正規化線形関数、Ｃｏｎｖ：畳み込み層。 ［００４９］図１５Ａは、共焦点ｚスタックに対する広視野蛍光ｚスタックの（横方向の）位置合わせを概略的に示す。広視野と共焦点ｚ－ｓｔａｃｋの両方が最初に自己調整され、各スタックについて拡張被写界深度（ＥＤＦ）画像が計算された。ＥＤＦ画像を空間的につなぎ合わせ、広視野からのつなぎ合わせたＥＤＦ画像を共焦点顕微鏡画像の画像と位置合わせした。スティッチングからＥＤＦ位置合わせまでの空間変換は、広視野スタックを共焦点スタックに関連付けるための連続変換として使用された。２５６×２５６ピクセルの空でない広視野ＲＯＩと、対応する共焦点ＲＯＩをＥＤＦ画像から切り出し、さらに位置合わせを行った。 ［００５０］図１５Ｂは、位置合わせした画像ペアのオーバーレイを示す例示的な画像を、広視野画像とともに示す。 ［００５１］図１５Ｃは、対応するＳＳＩＭ値に基づいて計算・比較され、軸方向に広視野および共焦点スタックを整列させるために使用される広視野スタックおよび共焦点スタックにおける焦点曲線を示す。 ［００５２］図１６Ａは、画像露光が低い場合のＤｅｅｐ－Ｚのリフォーカス能力を示す。それぞれ１０ｍｓおよび１００ｍｓの露光時間で撮影された画像でトレーニングされた２つのＤｅｅｐ－Ｚモデルを使用して、異なる露光時間での２つのマイクロビーズを含む画像を、－５、３、および４．５μｍのデフォーカス距離から仮想リフォーカスした。 ［００５３］図１６Ｂは、Ｄｅｅｐ－Ｚ（１００ｍｓ）ネットワークモデルにより、入力画像を－１０μｍから１０μｍの範囲で仮想リフォーカスした後に、サンプルＦＯＶ内で画像化した９１個のマイクロビーズのＦＷＨＭ値の中央値のグラフを示す。テスト画像の露光時間は、３ｍｓから３００ｍｓの間で異なる。 ［００５４］図１６Ｃは、Ｄｅｅｐ－Ｚ（００ｍｓ）ネットワークモデルにより、入力画像を－１０μｍから１０μｍの範囲で仮想リフォーカスした後に、サンプルＦＯＶ内で画像化したた９１個のマイクロビーズのＦＷＨＭ値の中央値のグラフを示す。テスト画像の露光時間、３ｍｓから３００ｍｓの間で異なる。 ［００５５］図１７Ａは、異なるサンプルタイプのＤｅｅｐ－Ｚベースの仮想リフォーカスおよび転移学習の結果を示す。入力画像は、ＧＦＰでラベル付けされた線虫のニューロン活動を記録したもので、画像はＦＩＴＣチャネルで２０×／０．８ＮＡの対物レンズを用いて撮影した。最適な線虫モデル（同じモデル、機能的ＧＦＰとして示す）と、異なるモデル（異なるモデル、構造タグＲＦＰとして示す）の両方を用いて入力画像を仮想的にリフォーカスした。また、初期化としての異なるモデルと約５００回の反復（約３０分のトレーニング）後にモデルを改良する機能的ＧＦＰ画像データセットとを使用した転移学習モデルの結果も示されている。 ［００５６］図１７Ｂは、異なるサンプルタイプのＤｅｅｐ－Ｚベースの仮想リフォーカスおよび伝達学習結果を示すが、異なる線虫サンプルを示す（図１７Ａと比較して）。入力画像は、テキサスレッドチャネルで２０×／０．７５ＮＡ対物レンズを用いて画像化されたタグＲＦＰを付したニューロン核を記録した。入力画像は、正確なワームひずみモデル（同じモデル、構造的、タグＲＦＰ）と異なるモデル（異なるモデル、３００ｎｍの赤いビーズ）の両方を用いて、仮想的にリフォーカスされた。また、初期化として異なるモデルと、約４，０００回の反復（約６時間のトレーニング）後にモデルを改良するための構造的タグＲＦＰ画像データセットを使用した転移学習モデルの結果も示されている。画像の相関係数（ｒ）が、対応する顕微鏡システム（それぞれライカとオリンパス）で実行されたグラウンドトゥルース機械的スキャンを基準として、各画像の右下隅に表示されている。転移学習は、元のデータセットからランダムに選択されたトレーニングデータの２０％と検証データの５０％を用いて行われた。 ［００５７］図１８は、異なる顕微鏡システムでの仮想リフォーカスおよび転移学習結果を示している。入力画像は、タグＧＦＰを付された線虫のニューロン核を記録し、２０×／０．８ＮＡの対物レンズを備えたＬｅｉｃａＳＰ８顕微鏡を用いて画像化された。入力画像は、正確なモデル（ＬｅｉｃａＳＰ８ ２０×／０．８ＮＡ）と別のモデル（異なるモデル、Ｏｌｙｍｐｕｓ２０×／０．７５ＮＡ）の両方を用いて仮想的に焦点を合わせた。また、初期化として異なるモデルと、約２，０００回の反復（約４０分のトレーニング）後にモデルを改良するためのＬｅｉｃａＳＰ８画像データセットを使用した転移学習モデルの結果も示されている。画像の相関係数（ｒ）が、対応する顕微鏡システムで実行されたグラウンドトゥルース機械的スキャンを基準として、各画像の右下隅に表示されている。転移学習は、元のデータセットからランダムに選択されたトレーニングデータの２０％と検証データの５０％を用いて行われた。 ［００５８］図１９Ａおよび１９Ｂは、Ｄｅｅｐ－Ｚを使用した時間変調信号再構成を示す。時間変調された照明源を用いて、マイクロビーズ（直径３００ｎｍ）の蛍光信号を励起した。この変調された照明の下で、サンプルのタイムラプスシーケンスを、インフォーカス面（ｚ＝０μｍ）および様々なデフォーカス面（ｚ＝２～１０μｍ）で撮影し、Ｄｅｅｐ－Ｚを用いてリフォーカスし、デジタル的にｚ＝０μｍに到達させた。（リフォーカス後の）ＦＯＶ内の２９７個のビーズの強度変化を各シーケンスで追跡した。図１９Ａでキャプチャされた映像をもとに、１フレームおきに、フレームレートおよび変調周波数を２倍にした画像シーケンスを形成し、横方向にシフトして元のシーケンスに戻した（図１９Ｂ）。これらのデフォーカスされ重ね合わされた画像を、Ｄｅｅｐ－Ｚを用いて仮想的にリフォーカスし、デジタル的にｚ＝０μｍのインフォーカス面に到達させた。グループ１には、ＦＯＶ内に１Ｈｚ変調の２９７個のビーズが含まれていた。グループ２には、同じＦＯＶに２Ｈｚの変調周波数で重ね合わされた他の（新しい）ビーズの信号が含まれていた。それぞれの強度曲線を正規化し、タイムラプスシーケンスごとに２９７の曲線の平均と標準偏差をプロットした。仮想的にリフォーカスされたＤｅｅｐ－Ｚ出力は、正弦波の照明を追跡し、ターゲット（ｚ＝０μｍ）で報告されたインフォーカスの基準時間変調に非常に厳密に従っている。 ［００５９］図２０Ａ～２０Ｌは、Ｄｅｅｐ－Ｚネットワークを使用した（およびマージされた）機械的スキャンを伴う線虫のニューロンセグメンテーションの比較を示す。図２０Ａ、２０Ｄは、Ｄｅｅｐ－Ｚへの入力として使用される蛍光画像である。図２０Ｂおよび２０Ｅは、それぞれ図２０Ａ、２０Ｄ、および図２０Ａ、２０Ｄに基づくセグメンテーション結果である。図２０Ｃおよび２０Ｆは、それぞれ図２０Ａ、２０Ｄの入力画像を用いてＤｅｅｐ－Ｚが生成した仮想画像スタック（－１０～１０μｍ）に基づくセグメンテーション結果である。図２０Ｇは、別の軸面（ｚ＝４μｍ）で撮影された追加の蛍光画像である。図２０Ｈは、マージされた仮想スタック（－１０～１０μｍ）でのセグメンテーション結果である。マージされた画像スタックは、図２０Ｄおよび２０Ｇの入力画像を用いてＤｅｅｐ－Ｚによって生成された２つの仮想スタックをブレンドすることによって生成された。図２０Ｉは、グラウンドトゥルースとして使用される機械的スキャンされた画像スタック（０．５μｍの軸方向間隔で４１の深さで取得）に基づくセグメンテーション結果である。各ニューロンはセグメンテーションマップの小さな球で表され、各ニューロンの深度情報は色分けされている。図２０Ｊ～２０Ｌは、図２０Ｅ、２０Ｆ、２０Ｈにおいて検出されたニューロン位置を図２０Ｉの位置と比較したものであり、Ｄｅｅｐ－Ｚの結果と機械的スキャンされたグラウンドトゥルースの結果の間の軸方向変位ヒストグラムがプロットされている。 ［００６０］図２１Ａ～２１Ｈは、強い蛍光物体の隣に横方向にシフトした弱い蛍光物体のＤｅｅｐ－Ｚベースの仮想リフォーカスを示す。図２１Ａは、平面ｚでデフォーカスされた実験画像（左ビーズ）が横方向にｄピクセルだけ右にシフトされ、所定の比率でデジタル的に弱くしたもの（右ビーズ）を、元の画像に追加し、Ｄｅｅｐ－Ｚの入力画像に用いたものである。スケールバー：５μｍ。図２１Ｂは、強度比が０．２の生成されたビーズペアの例であり、インフォーカス面、４μｍと１０μｍのデフォーカス面、およびＤｅｅｐ－Ｚによる対応する仮想リフォーカス画像を示す。図２１Ｃ～２１Ｈは、異なる軸方向のデフォーカス距離（ｚ）を用いて仮想リフォーカス面で計算された、ＦＯＶ内の１４４個のビーズ対についての元のビーズ信号に対するシフトされ弱められたビーズ信号の平均強度比のグラフである。各図の十字「×」は、対応する横方向のシフト距離を示し、この距離を下回ると２つのビーズを区別することができず、ビーズ信号強度比（範囲０．２～１．０）を表すようにコード化される。矢印は、凡例に対応する信号強度比の値が増加する方向を示す。 ［００６１］図２２Ａ～２２Ｄは、Ｄｅｅｐ－Ｚの仮想リフォーカス性能に対する軸方向オクルージョンの影響を示す。図２２Ｂは横方向位置は同じだが、軸方向に８μｍ離れている２つのビーズの３Ｄ仮想リフォーカスである。Ｄｅｅｐ－Ｚは、通常どおり、重なり合うビーズのデフォーカス画像に対応する単一の２Ｄ入力画像を使用した。Ｄｅｅｐ－Ｚで計算された仮想リフォーカスは、ｚ軸に沿って２つのビーズを表す２つの最大値を示し、シミュレーションされたグラウンドトゥルース画像スタックと一致する。図２２Ｂはシミュレーションの概略であり、同じビーズ画像スタック内の２つのデフォーカス画像を間隔ｄで加算し、高い方のスタックをｚ＝８μｍの深さに配置した。マージされた画像スタック内の１つの画像を、仮想リフォーカスのためのＤｅｅｐ－Ｚへの入力として使用した。図２２Ｃ－２２Ｄは、ＦＯＶ内の１４４個のビーズペアについて、ｚ＝８μｍで異なる軸方向の間隔とビーズ強度比（範囲０．２～１．０）で計算された、元のスタックのビーズ強度に対するトップ（すなわち暗い）ビーズ信号の強度比の平均と標準偏差（バックグラウンド範囲で表される）を示す。矢印は、凡例に対応する、信号強度比の値が増加する方向を示す。 ［００６２］図２３Ａ～２３Ｅは、３Ｄ蛍光サンプル密度の関数としてのＤｅｅｐ－Ｚの推論結果を示す。図１３Ａは、蛍光ビーズ濃度の増加に伴う、軸方向の深さ±１０μｍでの機械的にスキャンされたグラウンドトゥルース画像スタックに対するＤｅｅｐ－Ｚ推論の比較を示す。Ｄｅｅｐ－Ｚ出力（単一の入力画像を使用）および機械的にスキャンされたグラウンドトゥルース（０．５μｍのスキャンステップサイズで取得された４１の軸方向画像を含む）から得られた測定ビーズ濃度が各画像の左上に表示されている。ＭＩＰ：軸方向に沿った最大強度の投影。スケールバー：３０μｍ。図２３Ｂ～２３Ｅは、増加するビーズ濃度の関数としてのグラウンドトゥルース結果に対するＤｅｅｐ－Ｚ出力の比較を示す。実線は、すべてのデータポイントにフィットした２次多項式である。点線はｙ＝ｘを表し、参照用に示す。これらの粒子濃度は、１５３６×１５３６ピクセル（５００×５００μｍ^２）のＦＯＶで計算／測定されたもので、図２３Ａに示された特定領域の１５倍の大きさである。 ［００６３］図２４Ａは、３Ｄで画像化されたナノビーズの蛍光信号を示しており、軸方向のスキャンを１８０回繰り返し、ステップサイズ０．５μｍで±１０μｍの４１面を含んでいる。累積スキャン時間は約３０分である。 ［００６４］図２４Ｂは、サンプル内の同じ軸方向深さ（±１０μｍ）に及ぶ仮想画像スタックを生成するためにＤｅｅｐ－Ｚによって使用される単一平面の対応するスキャンを示す。Ｄｅｅｐ－Ｚの累積スキャン時間は約１５秒である。中央の線はサンプルボリューム内の６８１個および５９７個の個々のナノビーズ（それぞれ図２４Ａおよび２４Ｂの日付）の正規化された強度の平均を表し、斜線部分は標準偏差を表す。

［００６５］図１は、訓練された深層ニューラルネットワーク１０を用いて、１つ以上のユーザ定義または自動生成された表面にデジタル伝播されたサンプル１２（またはサンプル１２内のオブジェクト）の１以上の蛍光出力画像４０を生成するシステム２の一実施形態を示す。システム２は、１以上のプロセッサ１０２を含むコンピューティングデバイス１００と、訓練された深層ニューラルネットワーク１０を組み込んだ画像処理ソフトウェア１０４とを含む。コンピューティングデバイス１００は、本明細書で説明するように、パーソナルコンピュータ、ラップトップ、タブレットＰＣ、リモートサーバ、特定用途向け集積回路（ＡＳＩＣ）などを含み得るが、他の演算デバイス（例えば、１つ以上のグラフィックプロセッシングユニット（ＧＰＵ）を組み込んだデバイス）を使用することもできる。

［００６６］いくつかの実施形態では、一連のまたは時系列の出力画像４０が生成され、例えば、サンプル１２またはその中のオブジェクトのタイムラプスビデオクリップまたはムービーが生成される。訓練された深層ニューラルネットワーク１０は、サンプル１２の１以上の蛍光顕微鏡入力画像２０（例えば、異なる時間に撮影された複数の画像）を受信する。サンプル１２は、限定ではなく例示として、病理学的スライド、生検、体液、生物（生きているか固定されている）、細胞（生きているか固定されている）、組織（生きているか固定されている）、細胞または細胞内の特徴物、生物または他の微視的な物体を含む液体または液体のサンプルを含み得る。一実施形態では、サンプル１２はラベルフリーであり得、サンプル１２から放出される蛍光は、サンプル１２内の内因性蛍光体や、周波数シフトした光の他の内因性エミッタ（例えば、自家蛍光）から発せられる。別の実施形態では、サンプル１２は、１以上の外因性蛍光ラベルまたは他の外因性発光体で標識される。これら２つの組み合わせもまた企図されている。

［００６７］１以上の入力画像２０は、画像化デバイス１１０、例えば蛍光顕微鏡デバイス１１０を用いて取得される。いくつかの実施形態では、画像化デバイス１１０は、入力画像２０を拡張された視野（ＦＯＶ）にわたって提供する広視野蛍光顕微鏡１１０を含み得る。訓練された深層ニューラルネットワーク１０は、ユーザ定義または自動生成された表面４２（デジタル伝播行列（ＤＰＭ）または他の追加されたデータ構造によって確立されたもの）にデジタル伝播された１以上の蛍光出力画像４０を出力または生成する。ユーザ定義または自動生成された表面４２は、２次元（２Ｄ）表面または３次元（３Ｄ）表面を含み得る。これは例えば、サンプル１２内の異なる軸方向の深さの面を含み得る。ユーザ定義または自動生成された表面４２はまた、湾曲したまたは他の３Ｄ表面を含み得る。いくつかの実施形態では、ユーザ定義または自動生成された表面４２は、サンプルの傾き（例えば、傾斜面）、曲率、または他の光学収差を補正する表面であり得る。本明細書で説明されるように、ＤＰＭを含み得るユーザ定義または自動生成された表面４２は、訓練された深層ニューラルネットワーク１０に入力される入力画像２０に（例えば、連結操作を通じて）追加されるか、他の方法で関連付けられる。訓練された深層ニューラルネットワーク１０は、ユーザ定義または自動生成された表面４２における出力画像４０を出力する。

［００６８］いくつかの実施形態では、訓練された深層ニューラルネットワーク１０への入力画像２０は、深層ニューラルネットワーク１０を訓練するために使用されるグラウンドトゥルース（ＧＴ）画像と同じか実質的に同様の開口数（numerical aperture）および解像度を有し得る。他の実施形態では、入力画像は、グラウンドトゥルース（ＧＴ）画像と比較して開口数および解像度が低くてもよい。この後者の実施形態では、訓練された深層ニューラルネットワーク１０は、仮想リフォーカスと、入力画像２０の解像度の向上（例えば、超解像）の両方を実行する。この追加機能は、入力画像２０の解像度を増加または改善するように訓練することによって、深層ニューラルネットワーク１０に与えられる。

［００６９］他の実施形態では、複数のユーザ定義または自動生成された表面４２を組み合わせて、複数の出力画像４０を用いてサンプル１２のボリューム（３Ｄ）画像を作成することができる。したがって、訓練された深層ニューラルネットワーク１０を用いて生成された出力画像４０のスタックをマージまたは結合して、サンプル１２のボリューム画像を作成することができる。また、ボリューム画像は時間の関数として生成され、例えば、時間経過に伴う動きを示すボリュームムービーまたはタイムラプスビデオクリップであってもよい。同様に、複数のユーザ定義または自動生成された表面４２を用いて、入力画像２０の生成に使用される顕微鏡１１０の被写界深度を拡張する拡張被写界深度（ＥＤＯＦ）を有する出力画像を作成することができる。このオプションでは、複数のＤＰＭ４２を使用する複数の出力画像４０をデジタル的に組み合わせて、サンプル１２のＥＤＯＦ画像が作成される。関連する実施形態では、１以上のＤＰＭ４２を使用する少なくとも１つの出力画像４０を用いて、サンプル１２の焦点の改善された画像を作成する。

［００７０］ある特定の実施形態では、訓練された深層ニューラルネットワーク１０によって生成された出力画像４０は、入力画像２０の生成に使用されたのと同じイメージングモダリティのものである。例えば、蛍光顕微鏡１１０が入力画像２０を取得するために使用された場合、出力画像４０も、ユーザ定義または自動生成された表面４２にリフォーカスされているものの、同じタイプの蛍光顕微鏡１１０から得られたように見えるものとなる。別の実施形態では、訓練された深層ニューラルネットワーク１０によって生成された出力画像４０は、入力画像２０の生成に使用されたものとは異なるイメージングモダリティのものである。例えば、広視野蛍光顕微鏡１１０が入力画像２０を取得するために使用された場合、出力画像４０は、共焦点顕微鏡から取得されたものであって、ユーザ定義または自動生成された表面４２にリフォーカスされたように見えることになる。

［００７１］好ましい一実施形態では、訓練された深層ニューラルネットワーク１０は、敵対的生成ネットワーク（ＧＡＮ）として訓練され、図１４に見られるように、生成器ネットワーク（Ｇ）および識別器ネットワーク（Ｄ）の２つの部分を含む。生成器ネットワーク（Ｇ）は、ダウンサンプリングパス４４と、対称的なアップサンプリングパス４６とを含む。ダウンサンプリングパス４４では、ある特定の実装例では、５つのダウンサンプリングブロックがある。ダウンサンプリングパス４４の各ブロックは、入力テンソルを出力テンソルにマッピングする２つの畳み込み層を含む。ダウンサンプリングパス４４の第５のダウンサンプリングブロックは、アップサンプリングパス４６に接続する。アップサンプリングパス４６は、一実施形態では、それぞれが入力テンソルを出力テンソルにマッピングする２つの畳み込み層を含む４つのアップサンプリングブロックを含む。連続するアップサンプリングブロック間の接続は、画像ピクセルを２倍アップサンプリングするアップコンボリューション（畳み込み転置）ブロックである。最後のブロックは、チャネル（本明細書で説明される一実施形態では４８）を１つの出力チャネルにマッピングする畳み込み層である。

［００７２］識別器ネットワーク（Ｄ）は、６つの連続する畳み込みブロックで構成される畳み込みニューラルネットワークであり、それぞれのブロックが入力テンソルを出力テンソルにマッピングする。最後の畳み込みブロックの後、ここで説明するように、平均プーリング層が出力を平坦化し、パラメータの数を減らす。続いて、ＬＲｅＬＵ活性化関数をもつサイズ３０７２×３０７２の完全接続（ＦＣ）層と、シグモイド活性化関数をもつサイズ３０７２×１の別のＦＣ層がある。最終出力は識別器（Ｄ）のスコアを表し、（０，１）の範囲となり、ここで０は偽を、１は真のラベルを表す。トレーニング中に、重みは初期化され（例えば、Ｘａｖｉｅｒイニシャライザを用いて）、バイアスが０．１に初期化される。訓練された深層ニューラルネットワーク１０は、訓練された深層ニューラルネットワーク１０を組み込んだ画像処理ソフトウェア１０４を使用して、コンピューティングデバイス１００を用いて実行される。本明細書で説明するように、画像処理ソフトウェア１０４は、任意の数のソフトウェアパッケージおよびプラットフォームを用いて実装することができる。例えば、訓練された深層ニューラルネットワーク１０は、ＴｅｎｓｏｒＦｌｏｗを用いて実装できるが、他のプログラミング言語（Ｐｙｔｈｏｎ、Ｃ＋＋など）を使用してもよい。本発明は、特定のソフトウェアプラットフォームに限定されない。

［００７３］蛍光出力画像４０は、コンピューティングデバイス１００に付随するディスプレイ１０６に表示されてよいが、画像４０は、任意の適切なディスプレイ（例えば、コンピュータモニタ、タブレットコンピュータ、モバイルコンピューティングデバイスなど）に表示されてもいことを理解されたい。入力画像２０はまた、任意選択で、１以上の出力画像４０とともに表示されてもよい。ディスプレイ１０６は、ユーザがシステム２の様々なパラメータと相互作用できるようにするグラフィカルユーザインターフェース（ＧＵＩ）などを含み得る。例えばＧＵＩは、ディスプレイ１０６に表示する画像の特定の時間シーケンスをユーザが定義または選択できるようにしてもよい。したがって、ＧＵＩは、ユーザが一連の画像４０をクリップまたは編集して、ムービーまたはタイムラプスビデオクリップを作成できるようにする一般的なムービー作成ツールを含み得る。ＧＵＩはまた、ユーザが特定のユーザ定義面４２を容易に定義できるようにしてもよい。例えば、ＧＵＩは、ユーザがサンプル１２内の特定の平面または他の深さの表面を定義できるようにするノブ、スライドバーなどを含み得る。ＧＵＩはまた、ユーザが選択できるいくつかの事前定義された、または任意のユーザ定義の、または自動生成された表面４２を有してもよい。これらには、ＧＵＩを用いて選択された、様々な深さの平面、様々な断面の平面、様々な傾きの平面、曲面、または他の３Ｄ表面を含み得る。また、サンプル１２内の深さの範囲（例えば、サンプル１２内のボリューム領域）を含み得る。ＧＵＩツールは、ユーザがサンプル１２の深さに沿って容易にスキャンできるようにする。ＧＵＩはまた、回転、傾き補正などを含む、出力画像４０を補強または調整するための様々なオプションを提供してもよい。好ましい一実施形態では、ユーザ定義または自動生成された表面４２は、ピクセルごとに、入力画像２０の平面からの所望のまたはターゲット表面の軸方向距離を表すデジタル伝播行列（ＤＰＭ）４２として形成される。他の実施形態では、画像処理ソフトウェア１０４が、１以上のユーザ定義または自動生成された表面４２（例えば、ＤＰＭ）を提案または提供することができる。例えば、画像処理ソフトウェア１０４は、１以上の光学収差を補正する１以上のＤＰＭ４２を自動的に生成してもい。これには、サンプルドリフト、傾き、球面収差などの収差が含まれ得る。したがって、ＤＰＭ４２は、画像処理ソフトウェア１０４に実装されたアルゴリズムによって自動的に生成され得る。このようなアルゴリズムは、別個の訓練されたニューラルネットワークまたはソフトウェアを用いて実装することができ、蛍光画像２０で入力される表面またはＤＰＭ４２で初期推測を行うことで動作してもよい。ネットワークまたはソフトウェアの出力結果は、メトリック（シャープネスやコントラストなど）に従って分析される。次に、その結果を用いてＤＰＭ４２の新しい表面が生成され、これが蛍光画像２０とともに入力され、満足のいく結果に収束するまで（例えば、十分なシャープネスやコントラストが得られたり、最大の結果が得られるまで）上記のように分析される。画像処理ソフトウェア１０４は、グレディアルゴリズム（greedy algorithm）を用いて、例えば、画像のシャープネスおよび／またはコントラストを最大化する表面に基づいて、これらのＤＰＭ４２を識別することができる。重要な点は、これらの補正は、サンプル１２が撮像されている間ではなく、オフラインで行われることである。

［００７４］ＧＵＩは、サンプル１２内の１以上の移動または運動する物体の選択されたムービークリップまたはタイムラプスビデオを視聴する機能をユーザに提供し得る。１つの特定の実施形態では、それぞれが異なる焦点深度にあるムービークリップまたはタイムラプスビデオが同時にディスプレイ１０６に表示されてもよい。本明細書で説明するように、システム２のこの機能は、機械的な軸方向スキャンや関連する光学ハードウェアの必要性を排除するだけでなく、サンプル内の光毒性または光退色を大幅に低減して、縦方向の実験を可能にする（例えば、サンプル１２への光子線量または光曝露の低減を可能にする）。さらに、仮想的に作成されたタイムラプスビデオ／ムービークリップは、互いに時間的に同期している（つまり、異なる深度の画像フレーム４０は同じタイムスタンプを持つ）が、これは、サンプルボリュームの異なる部分の連続測定間に避けられない時間遅延があるため、スキャンベースの３Ｄイメージングシステムでは不可能である。

［００７５］一実施形態では、システム２は、入力画像２０と実質的にリアルタイムで画像４０を出力することができる。すなわち、取得された入力画像２０は、ユーザ定義または自動生成された表面とともに訓練された深層ニューラルネットワーク１０に入力され、出力画像４０は、実質的にリアルタイムで生成または出力される。別の実施形態では、入力画像２０は、蛍光顕微鏡デバイス１１０で取得された後、メモリやローカル記憶装置（例えば、ハードドライブまたはソリッドステートドライブ）に格納され、その後にオペレータの都合に合わせて訓練された深層ニューラルネットワーク１０にかけるようにしてもよい。

［００７６］（トレーニング画像に加えて）顕微鏡デバイス１１０で得られる入力画像２０は、いくつかの異なるタイプの顕微鏡１１０を用いて取得または獲得してもよい。これには、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いた共焦点顕微鏡、二次高調波または高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ（ptychography）顕微鏡が含まれる。

［００７７］実験
［００７８］本明細書に記載のＤｅｅｐ－Ｚシステム２では、入力２Ｄ蛍光画像２０（サンプル１２のボリューム内の３Ｄ表面にデジタルリフォーカスされる）は、最初に、図１および２に見られるように、入力画像の平面からのターゲット表面の軸方向距離をピクセルごとに表すデジタル伝播行列（ＤＰＭ）の形態でユーザ定義の表面４２が付加される。Ｄｅｅｐ－Ｚ画像処理ソフトウェア１０４は、（１）異なる深度で軸方向にフォーカスされ、異なるＤＰＭが付加された様々な蛍光画像と、（２）対応するＤＰＭによって定義された正しい／ターゲットのフォーカス面でキャプチャされた対応する蛍光画像（すなわち、グラウンドトゥルース（ＧＴ）ラベル）との正確に一致するペアを用いて訓練された深層ニューラルネットワーク１０を含む。仮定や物理モデルなしで実験画像データのみを使用するこの訓練プロセスを通じて、ＧＡＮベースの訓練された深層ニューラルネットワーク１０の生成ネットワークは、各ＤＰＭピクセルの値を軸方向のリフォーカス距離として解釈することを学習し、サンプル１２のボリューム内でユーザによって定義された３Ｄ表面（すなわち、ＤＰＭまたは他のユーザ定義または自動生成された表面４２）にデジタルリフォーカスされた同等の蛍光画像４０を出力し、ここでは、ターゲット面に対する実際の軸方向の位置に応じて、サンプルの一部は焦点が合い、他の一部は焦点外となる。

［００７９］この独自の蛍光デジタルリフォーカスシステム２の成功を実証するために、線虫（C. elegans）のニューロンを、２０×／０．７５開口数（ＮＡ）の対物レンズを備えた標準的な広視野蛍光顕微鏡を用いて画像化し、ネイティブ深度を拡張した。この対物レンズの本来の被写界深度（ＤＯＦ）（～１μｍ）を約２０倍に拡大し、訓練された深層ニューラルネットワークを用いて単一の２Ｄ蛍光画像を焦点面に対して１０～Δｚ＝±１０μｍで軸方向にリフォーカスしたところ、同じ軸方向範囲内でサンプルを機械的にスキャンして得られた蛍光画像と非常によく一致した。同様の結果が、より高いＮＡの対物レンズ（４０×／１．３ＮＡ）を用いても得られた。この深層学習ベースの蛍光画像リフォーカスシステム２を用いて、単一の焦点面で取得した蛍光画像のタイムシーケンスを用いて、線虫のニューロン活動の３Ｄトラッキングが±１０μｍの拡張ＤＯＦにわたって実証された。このように、サンプル１２（またはサンプル１２内のオブジェクト）の入力画像２０の時系列を用いて、経時的な２Ｄおよび／または３Ｄトラッキングのためのタイムラプスビデオまたはムービーを生成することができる。

［００８０］さらに、システム２によって可能になる追加の自由度のいくつかを強調するために、空間的に不均一なＤＰＭ４２を用いて、２Ｄ入力蛍光画像をユーザ定義の３Ｄ表面にリフォーカスさせ、サンプルドリフト、傾き、球面収差などの収差を計算的に補正した。これらはすべて、蛍光画像の取得後に、標準的な広視野蛍光顕微鏡の光学ハードウェアに変更を加えることなく行った。

［００８１］システム２の別の重要な特徴は、蛍光画像２０のクロスモダリティデジタルリフォーカスを可能にすることであり、ここでは訓練された深層ニューラルネットワーク１０が、異なる蛍光顕微鏡１１０モダリティによって得られたゴールドスタンダードラベル画像で訓練され、前記訓練された深層ニューラルネットワークが入力画像２０をサンプルボリューム内の別の面にリフォーカスするが、このときに入力画像２０と比較して異なる蛍光イメージングモダリティによって取得された同じ平面の画像と一致させるように訓練される。この関連フレームワークを、本明細書ではＤｅｅｐ－Ｚ＋と呼ぶ。この実施形態では、第１の顕微鏡モダリティを用いた入力画像２０によって生成された出力画像４０は、第２のタイプの顕微鏡モダリティで得られた同じサンプル１２の顕微鏡画像と類似し、実質的に同等である。この独自の機能の概念実証を行うために、Ｄｅｅｐ－Ｚ＋の訓練された深層ニューラルネットワーク１０を、広視野蛍光顕微鏡１１０と共焦点顕微鏡（図示せず）でそれぞれ取得された入力画像とラベル画像を用いて訓練し、このクロスモダリティＤｅｅｐ－Ｚ＋の出力で入力広視野蛍光画像２０のデジタルリフォーカス画像４０を盲目的に生成し、これが同じサンプル断面の共焦点顕微鏡画像と一致した。

［００８２］様々な異なるイメージングモダリティがクロスモダリティ機能で動作することを理解されたい。例えば、第１の顕微鏡モダリティが蛍光顕微鏡（例えば、広視野蛍光）を含み、第２のモダリティが、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を有する共焦点顕微鏡、第２高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィック顕微鏡のうちの１つを含み得る。

［００８３］そのトレーニング後、深層ニューラルネットワーク１０は固定のままで、追加されたＤＰＭまたは他のユーザ定義面４２は、ユーザが単一の２Ｄ蛍光画像を３Ｄ表面にリフォーカスし、迅速かつ非反復的な方法で所望のデジタルリフォーカスされた蛍光画像４０を出力するための「深度調整ノブ」を提供する。蛍光顕微鏡法に加えて、Ｄｅｅｐ－Ｚフレームワークは他のインコヒーレントイメージングモダリティに適用可能であり、実際、単一の２Ｄインコヒーレント画像を用いてサンプルボリュームの３Ｄデジタルリフォーカスを実現することで、コヒーレント顕微鏡とインコヒーレント顕微鏡の間のギャップを埋める。システム２は、訓練された深層ニューラルネットワーク１０の単一のフォワードパス操作を用いて、蛍光サンプルボリューム内の３Ｄ表面を別の３Ｄ表面に迅速に変換するための計算フレームワークを可能にするという点でさらに独特である。

［００８４］Ｄｅｅｐ－Ｚを使用した蛍光画像のデジタルリフォーカス
［００８５］本明細書に記載のシステム２および方法は、単一の強度のみの広視野蛍光画像２０を、そのトレーニングの軸方向範囲内でユーザ定義の表面４２にデジタル的にリフォーカスすることを可能にする。図２Ａは、３００ｎｍの蛍光ビーズ（励起／発光：５３８ｎｍ／５８４ｎｍ）の単一の蛍光画像２０を、ＤＰＭ４２によって定義される複数のユーザ定義面にデジタル伝播させることによって、この概念を実証している。対物レンズのＮＡ（２０×０．７５ＮＡ）で定義される入力蛍光画像２０のネイティブＤＯＦは約１μｍである。Ｄｅｅｐ－Ｚシステム２を用いて、この蛍光ビーズの画像を±１０μｍの軸方向範囲にわたってデジタルリフォーカスし、グラウンドトゥルース（ＧＴ）を形成する同じ関心領域（ＲＯＩ）の機械的スキャンされた対応する画像と一致した。図２ＡのＰＳＦは軸方向に非対称であり、これはＤｅｅｐ－Ｚによる入力画像のデジタル伝播に関してニューラルネットワーク１０に方向性の手がかりを提供する。対称的なガウスビームとは異なり、軸方向に沿ったこのようなＰＳＦの非対称性は、蛍光顕微鏡システムに遍在している。入力蛍光画像２０をデジタルリフォーカスすることに加えて、Ｄｅｅｐ－Ｚシステム２はまた、対応する深度で測定された同じ物体の蛍光画像と比較して、その出力４０で改善された信号対雑音比（ＳＮＲ）を提供する（図７参照）。機械的にスキャンされたグラウンドトゥルースと比較したこのＳＮＲの増加の核心は、訓練された深層ニューラルネットワーク１０が、その訓練段階で一般化されなかった様々な画像ノイズのソースを拒絶する能力である。Ｄｅｅｐ－Ｚシステム２の出力パフォーマンスをさらに定量化するために、ＰＳＦ分析を用いた。図２Ｂ、２Ｃは、約５００×５００μｍ^２に分散した４６１個の個々の／単離されたナノビーズの横方向および軸方向の半値全幅（ＦＷＨＭ）値の両方のヒストグラムを示す。これらのヒストグラムの統計は互いに非常によく一致しており、単一の蛍光画像（Ｎ＝１計測画像）から計算されたＤｅｅｐ－Ｚの出力画像４０と、対応する軸方向にスキャンされたグラウンドトゥルース（ＧＴ）画像（Ｎ＝４１計測画像）との一致が確認された。この定量的な一致は、Ｄｅｅｐ－Ｚシステム２が画像データを通じて蛍光の３Ｄリフォーカスを間接的に学習したという事実を強調している。ただし、この学習された機能は、トレーニングデータセットによって定まる軸方向範囲内に限定され（例えば、この作業では±１０μｍ）、このトレーニング範囲外では失敗する（この現象の定量化は図８参照）。もちろん、より広い軸方向範囲でトレーニングすれば、訓練された深層ニューラルネットワーク１０の軸方向リフォーカスの範囲が改善される。

［００８６］次に、Ｄｅｅｐ－Ｚシステム２を、汎ニューロンタグＲＦＰを発現するＣ．ｅｌｅｇａｎｓ線虫のニューロンをイメージングすることによってテストした。図３は、単一の広視野蛍光入力画像２０からの線虫の異なる部分をＤｅｅｐ－Ｚベースでリフォーカスした場合のブラインドテスト結果を示す。Ｄｅｅｐ－Ｚシステム２を用いて、入力画像２０内の区別できない蛍光ニューロンは異なる深度で焦点が合ったが、入力画像２０上の他のいくつかの焦点の合ったニューロンは、３Ｄにおける真の軸方向位置に応じて焦点がぼけて背景に紛れた。図３に提供されたグラウンドトゥルース機械的スキャンとの断面比較を参照されたい（画像差分析については図９Ａ～９Ｊも参照）。最適なパフォーマンスを得るために、このＤｅｅｐ－Ｚシステム２は、線虫本体と周囲の媒体の屈折特性とともに３ＤＰＳＦ情報を正確に学習するために、線虫のサンプル１２を用いて特別に訓練された。Ｄｅｅｐ－Ｚシステム２を用いて、（線虫の単一の２Ｄ蛍光画像から）サンプル１２の仮想３Ｄスタックと３Ｄ視覚化が約±１０μｍの軸方向範囲で生成された。同様の結果が、４０×１．３ＮＡ対物レンズの下で画像化された線虫についても得られ、Ｄｅｅｐ－Ｚは約±４μｍの軸範囲にわたって入力画像のリフォーカスに成功した（図１０参照）。

［００８７］Ｄｅｅｐ－Ｚシステム２は、イメージングシステムの固有の解像度、フレームレート、または光子効率を犠牲にすることなく、単一の２Ｄ蛍光画像２０を用いて３Ｄサンプル１２内の任意の平面の画像をデジタル的に再構成できるので、特に動的な（例えば、移動する）生物学的サンプル１２のイメージングに有用である。この能力を実証するために、４匹の動く線虫１２の動画を撮影し、この蛍光動画の各画像フレーム４０を、Ｄｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０を用いて様々な深度にデジタルリフォーカスした。これにより、同じサンプルボリュームの、それぞれが異なる深度（ｚ深度など）にフォーカスされた動画を同時に再生する映像を作成することが可能になった。この独特な機能により、機械的な軸方向スキャンや関連する光学ハードウェアが不要になるだけでなく、サンプル内の光毒性または光退色が大幅に減少し、縦方向の実験が可能になる。さらに別の有利な機能は、従来のスキャンベースの３Ｄイメージングシステムでは不可能であった、異なる深度で時間的に同期されたタイムラプスビデオまたはムービークリップを同時に表示する能力である。線虫のニューロンの３Ｄイメージングに加えて、システム２は、例えば図１１にあるように、ミトコンドリアやウシ肺動脈内皮細胞（ＢＰＡＥＣ）内のＦ－アクチン構造のような、空間的に高密度の蛍光サンプル１２の画像２０のデジタルリフォーカスにも適している。

［００８８］これまでに説明したように、ブラインドテストされたサンプル１２は、同じタイプのサンプル１２と同じ顕微鏡システム（すなわち、同じモダリティのイメージングデバイス１１０）を用いて訓練されたＤｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０で推測された。システム２を、例えば、（１）異なるタイプのサンプル１２を画像化する、（２）異なる顕微鏡システム１１０をイメージングに使用する、（３）異なる照明パワーまたはＳＮＲを用いるなど、トレーニング画像セットと比較してテストデータの分布に変化が導入される様々なシナリオで評価した。結果（図１７Ａ、１７Ｂ、１８、１９）および関連する分析は、これらの変化のいくつかに対するＤｅｅｐ－Ｚシステム２のロバスト性を明らかにしている。ただし、Ｄｅｅｐ－Ｚシステム２で最高のパフォーマンスを達成するための一般的な推奨事項として、テストフェーズで使用されると予想される、同じ顕微鏡イメージングデバイス／システム１１０および同じタイプのサンプルで取得されたトレーニング画像を使用して、ニューラルネットワーク１０をトレーニングする必要がある（最初から、または図Ｉ７Ａ、１７Ｂ、１８に示すように、トレーニングプロセスを大幅に促進する伝達学習を通じて）。

［００８９］Ｄｅｅｐ－Ｚを使用したサンプルドリフトによるデフォーカス補正
［００９０］Ｄｅｅｐ－Ｚシステム２は、画像２０のキャプチャ後に、サンプルドリフトによるデフォーカスを補正することも可能である。２０×／０．８ＮＡ対物レンズ（ＤＯＦ～１μｍ）を有する広視野蛍光顕微鏡１１０で記録した移動する線虫の動画を生成した。線虫は、記録面から２～１０μｍデフォーカスしている。Ｄｅｅｐ－Ｚシステム２を用いて、入力動画の各画像フレーム２０を１０μｍまでの異なる平面にデジタルリフォーカスし、このサンプルドリフトによるデフォーカスを補正することができる。このようなサンプルドリフトは、従来、画像のフォーカスを積極的に監視し、測定中にそれを補正することによって、例えば追加の顕微鏡を使用することによって補正されていた。一方、Ｄｅｅｐ－Ｚシステム２は、すでにキャプチャされた２Ｄ蛍光画像のサンプルドリフトを補正する可能性を提供する。

［００９１］Ｄｅｅｐ－Ｚを使用した線虫の３Ｄ機能イメージング
［００９２］３Ｄ蛍光イメージングの重要なアプリケーションは、ニューロン活動の追跡である。例えば、異なる蛍光タンパク質を発現させた遺伝子組み換え動物は、それらのニューロン活動を明らかにするために、蛍光顕微鏡１１０を用いて日常的に画像化される。ニューロン活動を３Ｄで追跡するＤｅｅｐ－Ｚシステム２の有用性を強調するために、２つの蛍光チャネルを備えた２０×／０．８ＮＡ対物レンズを用いて、線虫の蛍光ビデオを単一の焦点面（ｚ＝０μｍ）で約３６Ｈｚで約３５秒間記録した。ＦＩＴＣはニューロン活動で、テキサスレッドはニューロン位置である。入力ビデオ画像フレーム２０は、連続するフレーム間の線虫のわずかな体動を補正するために、互いに位置合わせ（registered）された（本明細書の方法欄に記載）。次に、取得した映像の各チャネルの各フレーム２０を、Ｄｅｅｐ－Ｚでトレーニングした深層ニューラルネットワーク１０を用いて、－１０μｍから１０μｍまでの一連の軸方向平面に０．５μｍのステップサイズでデジタルリフォーカスし、取得したフレームごとに（出力画像４０の）仮想３Ｄ蛍光画像スタックを生成した。記録された入力ビデオと、これらの仮想スタックのｚ軸に沿った最大強度投影（ＭＩＰ）の映像を、比較映像として作成した。入力映像でデフォーカスされているニューロンは、蛍光チャネルの両方のＤｅｅｐ－Ｚ出力でオンデマンドで明確にリフォーカスできる。これにより、単一の焦点面でキャプチャされた２Ｄ蛍光画像２０の時間シーケンスから、個々のニューロン活動を３Ｄで正確に時空間追跡することができる。

［００９３］Ｄｅｅｐ－Ｚの出力画像４０を用いてニューロンの活動を定量化するために、個々のニューロンのボクセルをテキサスレッドチャネル（ニューロン位置）を用いてセグメント化し、時間の経過に伴う各ニューロンセグメント内のＦＩＴＣチャネル（ニューロン活動）の蛍光強度の変化、つまりΔＦ（ｔ）－Ｆ_０を追跡した。ここで、Ｆ（ｔ）はニューロンの蛍光発光強度、Ｆ_０はその時間平均である。図４Ｂに示すように、Ｄｅｅｐ－Ｚ出力画像４０を用いて、３Ｄの合計１５５個の個々のニューロンが分離された。ここで、色は各ニューロンの深さ（ｚ位置）を表す。比較のために、図２０ｂは、入力２Ｄ画像のみに適用された同じセグメンテーションアルゴリズムの結果を報告しており、ここでは深度情報なしで９９個のニューロンが識別された。

［００９４］図４Ｃは、最もアクティブな７０個のニューロンの活動をプロットしたもので、これらのニューロンは、カルシウム活性パターンの類似性に基づいてクラスタＣ１～Ｃ３にグループ化された。Ｄｅｅｐ－Ｚを用いて推論された１５５個のニューロンすべての活動が、図１２Ａ～１２Ｆに提供されている。図３Ｃは、クラスタＣ３のカルシウム活性がｔ＝１４秒で増加したのに対し、クラスタＣ２の活性は同様の時点で減少したことを報告している。これらのニューロンは、通常は互いに反相関する後方運動と前方運動をそれぞれ促進する運動ニューロンＡ型とＢ型に対応している可能性が非常に高い。クラスタＣ１は、線虫の中央に位置する比較的大きなサイズの２つの細胞がある。これらの細胞には、ｔ＝４、１７、３２秒に３つの同期した短いスパイクがあった。それらの３Ｄ位置とカルシウム活性パターンの規則性から、それらが排便システムの神経細胞または筋細胞であり、運動システムと協調して一定の間隔で排便を開始すると考えられる。

［００９５］この３Ｄ追跡されたニューロン活動はすべて、実際にはサンプル１２内の単一の焦点面で取得された入力２Ｄ蛍光画像シーケンス（すなわち画像２０）に埋め込まれていたが、そこから容易に推測できるものではないことを強調しておきたい。Ｄｅｅｐ－Ｚシステム２と、サンプルボリューム内のユーザ定義の表面４２への３Ｄリフォーカス機能により、機械的スキャン、追加ハードウェア、または解像度やイメージング速度のトレードオフを必要とせずに、２Ｄ顕微鏡の時間シーケンスを用いてニューロンの位置と活動が正確に追跡された。

［００９６］Ｄｅｅｐ－Ｚシステム２は、純粋にデジタルリフォーカスによって時間的に同期した仮想イメージスタックを生成するため、例えば典型的には最大１００フレーム／秒の短い映像を作成するストリームモードを用いて、イメージング速度をカメラのフレームレートの限界に合わせる（または改善させる）ことができる。この機会を強調するために、ライカＳＰ８顕微鏡のカメラのストリームモードを用いて、動く線虫のニューロンの核（テキサスレッドチャネルの下）とニューロンのカルシウム活性（ＦＩＴＣチャネルの下）を１０秒間モニタリングするために、２つのビデオを１００ｆｐｓでキャプチャし、Ｄｅｅｐ－Ｚを用いて、これらのフレームから±１０μｍの軸方向深度範囲で仮想的にリフォーカスされた映像を生成した。

［００９７］空間的に不均一なＤＰＭを用いたＤｅｅｐ－Ｚベースの収差補正
［００９８］一実施形態では、入力蛍光画像２０をサンプルボリューム内の異なる平面にリフォーカスさせるために、トレーニングフェーズとブラインドテストの両方で均一なＤＰＭ４２が使用された。ここで、Ｄｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０が均一なＤＰＭ４２で訓練されたとしても、テストフェーズでは、ＤＰＭ４２の一部として空間的に不均一なエントリを用いて、入力蛍光画像２０をユーザ定義の３Ｄ表面にリフォーカスできることを強調しておきたい。この機能により、３Ｄ表面の蛍光画像を、対応するＤＰＭ４２のピクセルマッピングによって定義される別の３Ｄ表面にデジタルリフォーカスすることができる。

［００９９］このような独特の機能は、多くの用途の中でも、画像取得後の蛍光画像の異なる部分の同時オートフォーカス、光学系（および／またはサンプル）によって導入された収差の測定または評価、および所望の不均一なＤＰＭ４２を適用してそのような収差を補正するのに有用である。Ｄｅｅｐ－Ｚシステム２によって実現するこの追加の自由度を例示するために、図５Ａ～５Ｌは、オブジェクトごとに単一の２Ｄ蛍光画像を取得した後の、２つの異なるサンプルの平面傾斜および円筒曲率の補正を示す。図５Ａは最初の測定を示し、蛍光ナノビーズサンプルの平面が対物レンズの焦点面に対して１．５°傾いていた。その結果、取得された生の蛍光画像（図５Ｃ）の左側と右側がぼやけ、図５Ｅに示すように、これらのナノビーズに対応する横方向のＦＷＨＭ値が著しく広くなった。このサンプル傾斜を表す図５Ｂに見られるような不均一なＤＰＭ４２を使用することによって、Ｄｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０は、均一なＤＰＭ４２を用いてトレーニングされただけであるにも拘わらず、ぼやけた入力画像２０（図５Ｃ）に作用し、すべてのナノビーズに正確に焦点を合わせることができる（図５Ｄ）。ネットワーク出力画像で計算された横方向のＦＷＨＭ値は、入力画像での中央値が約２．１４μｍであったのに対し（図５Ｅ）、中央値が約０．９６μｍ（図５Ｆ）と単分散になった。同様に、図３は、図５Ｇは２回目の測定を示しており、ここではナノビーズを直径約７．２ｍｍの円筒形の表面に分散させている。結果として、測定された生の蛍光画像は、図５Ｉに示すようにデフォーカス領域を示し、これらのナノビーズ画像のＦＷＨＭ値はそれに応じて広がり（図５Ｋ）、中央値約２．４１μｍに対応する。一方、この円筒面を定義する不均一なＤＰＭ４２（図５Ｈ）を使用すると、図５Ｉの収差は、Ｄｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０を用いて補正され（図５Ｊ）、傾斜したサンプルの場合と同様に、ネットワーク出力画像で計算された横方向のＦＷＨＭ値は、所望のように、中央値が約０．９１μｍと再び単分散になった（図５Ｌ）。

［００１００］この手法の限界を評価するために、ＤＰＭ４２がアーチファクトを発生させずに持つことができる３Ｄ表面曲率を定量化した。これには、ｘ方向に沿って横方向の周期がＤ＝１、２、．．．、２５６ピクセル（ピクセルサイズ０．３２５μｍ）で、と軸方向の振動範囲が８μｍ（すなわち、入力面に対して正弦波の深さが－１μｍから－９μｍの範囲）の３Ｄ正弦波パターンからなる一連のＤＰＭ４２を使用した。これらの３Ｄ正弦波ＤＰＭ４２のそれぞれは、Ｄｅｅｐ－Ｚネットワーク１０に供給された入力蛍光画像２０に付加された。次に、対応するＤＰＭ４２によって定義された各正弦波３Ｄ表面でのネットワーク出力を、比較用のグラウンドトゥルース画像を構成する０．５μｍのスキャンステップサイズで軸方向にスキャンされたｚスタックを用いて３Ｄ補間された画像と比較した。図１３Ａ～１３Ｆに要約されるように、Ｄｅｅｐ－Ｚネットワーク１０は、変調の周期が＞１００ピクセル（すなわち、物体空間において＞３２μｍ）である場合、正弦波ＤＰＭ４２によって定義される３Ｄ表面に入力蛍光画像２０を確実にリフォーカスさせることができる。周期が３２μｍよりも小さい、より高速に振動するＤＰＭ４２の場合、対応する３Ｄ表面でのネットワーク出力画像４０は、図１３～１３Ｆに報告されるスペクトル分析に示すように、これらの高周波数およびそれらの高調波でバックグラウンド変調を示す。これらの高調波アーチファクトとバックグラウンド変調は、３２μｍを超える横方向周期と８μｍの軸方向範囲を持つ出力で正弦波３Ｄ表面を定義する低周波数ＤＰＭ４２では消失する。

［００１０１］蛍光画像のクロスモダリティ・デジタルリフォーカス：Ｄｅｅｐ－Ｚ＋
［００１０２］Ｄｅｅｐ－Ｚシステム２は、広視野蛍光顕微鏡画像２０内のデフォーカスした３Ｄ特徴をユーザ定義表面へのデジタルリフォーカスを可能にする。同じ概念を用いて、入力蛍光画像２０のクロスモダリティデジタルリフォーカスを実行することもでき、ここでは生成ネットワークＧは、２つの異なる蛍光イメージングモダリティでキャプチャされた入力画像とラベル画像のペアを用いて訓練することができる（すなわち、ディープと呼ばれる）。その訓練後、Ｄｅｅｐ－Ｚ＋で訓練された深層ニューラルネットワーク１０は、蛍光顕微鏡１１０によって取得された単一の入力蛍光画像２０を３Ｄでユーザ定義の標的表面４２にデジタルリフォーカスすることを学習するが、今回の出力４０は、対応する高さ／平面で異なる蛍光イメージングモダリティによってキャプチャされた同じサンプル１２の画像と一致する。この独自の機能を実証するために、Ｄｅｅｐ－Ｚ＋深層ニューラルネットワーク１０を、対応する平面での広視野顕微鏡画像（入力として使用）と共焦点顕微鏡画像（グラウンドトゥルース（ＧＴ）ラベルとして使用）のペアを用いてトレーニングし、クロスモダリティ・デジタルリフォーカスを実行した。図６Ａ～６Ｄは、このＤｅｅｐ－Ｚ＋システム２を用いてＢＰＡＥＣの微小管構造を画像化するためのブラインドテスト結果を示す。図６Ｂ～６Ｄにあるように、訓練されたＤｅｅｐ－Ｚ＋ネットワーク１０は、入力広視野蛍光画像２０を異なる軸方向距離にデジタルリフォーカスすると同時に、リフォーカス面におけるデフォーカスされた空間的特徴のいくつかを拒絶し、グラウンドトゥルース（ＧＴ）として機能する対応する面の共焦点画像と一致させる（図６Ｃ）。例えば、図６Ａ～６ＣのＲＯＩの左下隅の微小管構造は、ｚ＝０．３４μｍのリフォーカス距離で顕著であったが、ｚ＝－０．４６μｍのリフォーカス距離ではこの軸方向距離でフォーカス外となったため、Ｄｅｅｐ－Ｚ＋ネットワーク１０によってデジタル的に拒絶され（図６Ｂの上の画像）、同じ深さの共焦点顕微鏡の対応する画像と一致した。図６Ａ～６Ｄにあるように、Ｄｅｅｐ－Ｚ＋システム２は、共焦点顕微鏡のセクショニング機能とその画像リフォーカスフレームワークを統合させる。図６Ｂおよび６Ｃはまた、Ｄｅｅｐ－Ｚ＋出力画像４０のｘｚおよびｙｚ断面を報告しており、ここでは微小管構造の軸方向分布が、広視野蛍光顕微鏡の軸方向スキャン画像と比較して著しくシャープであり、共焦点顕微鏡で得られる断面と非常によく一致し、そのトレーニングの目的に合致する。

［００１０３］Ｄｅｅｐ－Ｚシステム２は、訓練された深層ニューラルネットワーク２を搭載し、単一の２Ｄ蛍光画像２０を用いてサンプル１２内の３Ｄリフォーカスを可能にする。このフレームワークは非反復的であり、トレーニングフェーズの後にハイパーパラメータの調整を必要としない。Ｄｅｅｐ－Ｚでは、ユーザはＤＰＭ４２の各ピクセルのリフォーカス距離を指定することができ（トレーニングで使用された軸方向の範囲に従う）、蛍光画像２０は、本明細書で報告された変換限界内で（例えば、図８および図１３Ａ～１３Ｆを参照）、Ｄｅｅｐ－Ｚで訓練された深層ニューラルネットワーク１０を介して対応する表面にデジタルリフォーカスできる。Ｄｅｅｐ－Ｚベースのシステム２は、サンプルボリューム内の蛍光物体の密度の変化（軸方向のリフォーカス距離の関数である限界まで）、入力画像の露光時間、および照明強度変調に対してもロバストである（詳細な結果については、図１６Ａ～１６Ｃ、１９Ａ～１９Ｂ、２１Ａ～２ＩＨ、２２Ａ～２２Ｄ、２３Ａ～２３Ｅおよび説明を参照）。距離はＤＰＭで符号化され、畳み込みチャネルとしてモデル化されるので、均一なＤＰＭ４２でネットワーク１０を訓練することができ、それでも、例えばサンプルのドリフト、傾き、湾曲、またはその他の光学収差を補正するために、本明細書で報告されるように、推論段階で様々な非均一なＤＰＭ４２を適用することができ、これによってイメージングシステムに追加の自由度をもたらす。

［００１０４］ディープラーニングは、顕微鏡画像の横方向および軸方向の解像度を高めるためのデコンボリューションを実行するのに非常に有効あることが最近実証されている。Ｄｅｅｐ－Ｚネットワーク１０は、デジタルリフォーカスプロセスによって焦点の合った空間的特徴を選択的にデコンボリューションし（例えば、図１１参照）、一方で焦点が合わなくなった他の特徴をコンボリューションし、ユーザ定義のＤＰＭ４２に基づいて、焦点が合った特徴にコントラストをもたらす点で独特である。このＤｅｅｐ－Ｚフレームワークを通じて、コヒーレントイメージングとホログラフィのスナップショット３Ｄリフォーカス機能が、機械的スキャン、ハードウェアコンポーネントの追加、またはイメージングの解像度や速度のトレードオフなしに、インコヒーレント蛍光顕微鏡にもたらされる。これは、イメージング速度を大幅に向上させるだけでなく、サンプル１２に対する光退色や光毒性の悪影響を低減する。軸方向の画像スタックが取得される広視野蛍光顕微鏡実験の場合、照明は標本またはサンプル１２の厚さ全体にわたって蛍光体を励起し、サンプルボリューム内の特定のポイントの総露光量は、シングルパスのｚスタック中に取得される撮像面（Ｎｚ）の数に比例する。対照的に、Ｄｅｅｐ－Ｚシステム２は、その軸方向のトレーニング範囲がサンプルの深さをカバーする場合、単一の画像取得ステップしか必要としない。したがって、Ｄｅｅｐ－Ｚシステム２によって実現する、サンプルボリューム内で画像化する必要のある軸方向面の数を減らすことは、サンプルへの光ダメージを減らすのに直接役立つ（例えば、図２４Ａ～２４Ｂ参照）。

［００１０５］最後に、この方法で取得可能な軸方向の範囲は、記録された画像のＳＮＲに依存すること、すなわちＰＳＦが担持する深度情報がノイズフロアを下回る場合、正確な推論は困難な作業になることに留意されたい。可変ＳＮＲの下で事前トレーニングされたＤｅｅｐ－Ｚネットワークモデル１０のパフォーマンスを検証するために、Ｄｅｅｐ－Ｚの推論を様々な露出条件でテストし（図１６Ａ～１６Ｃ）、トレーニングデータに含まれていない広範囲の画像露出時間にわたって推論のロバスト性を明らかにした。Ｄｅｅｐ－Ｚシステム２を用いて、広視野蛍光画像のＤＯＦが約２０倍向上することが実証された。この軸方向のリフォーカス範囲は、実際には絶対的な制限ではなく、トレーニングデータの実用的な選択であり、ＰＳＦを軸方向に設計するなど、光学セットアップのハードウェア的な変更でさらに改善できる可能性がある。このようなアプローチでは、追加のハードウェアと高感度のアライメント／キャリブレーションが必要になるだけでなく、検出経路に追加の光学部品を挿入することによる光子損失を補償するために、より明るい蛍光色素も必要になる。

［００１０６］方法
［００１０７］サンプル準備
［００１０８］３００ｎｍの赤色蛍光ナノビーズを、ＭａｇＳｐｈｅｒｅ Ｉｎｃ．から購入し（アイテム番号ＰＳＦ－３００ＮＭ ０．３ ＵＭ ＲＥＤ）、メタノールで５，０００倍に希釈し、希釈の前後に１５分間超音波処理して、クラスタを分解した。平らな面と傾斜した面の蛍光ビーズサンプルでは、＃１カバースリップ（２２×２２ｍｍ^２、厚さ約１５０μｍ）を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプルの２．５μＬの液滴をピペットでカバーガラスに移し、乾燥させた。曲面（円筒）上の蛍光ビーズサンプル１２については、ガラス管（直径約７．２ｍｍ）を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプル１２の２．５μＬの液滴をガラス管の外面にピペットで移し、乾燥させた。

［００１０９］線虫のニューロンの構造イメージングは、ＡＭＬ１８株で行った。ＡＭＬ１８は遺伝子型ｗｔｆｌｓ３［ｒａｂ－３ｐ：：ＮＬＳ：：ＧＦＰ＋ｒａｂ－３ｐ：：ＮＬＳ：：ｔａｇＲＦＰ］を持ち、すべてのニューロンの核でＧＦＰとｔａｇＲＦＰを発現する。機能イメージングには、ｗｔｆｌｓ５［ｒａｂ－３ｐ：：ＮＬＳ：：ＧＣａＭＰ６ｓ＋ｒａｂ－３ｐ：：ＮＬＳ：ＴａｇＲＦＰ］を持つＡＭＬ３２株を用いた。これらの株菌はＣａｅｎｏｒｈａｂｄｉｔｉｓ Ｇｅｎｅｔｉｃｓ Ｃｅｎｔｅｒ（ＣＧＣ）から入手した。ワームを、ＯＰ５０菌を播種した線虫増殖培地（ＮＧＭ）で標準的な条件で培養した。イメージングのために、ワームをＭ９でプレートから洗い流し、３ｍＭレバミゾールで麻酔した。次に、麻酔をかけたワームを、３％アガロースを播種したスライドにマウントした。動くワームを画像化するために、レバミゾールを省略した。

［００１１０］マルチラベルのウシ肺動脈内皮細胞（ＢＰＡＥＣ）のスライド２枚：ＦｌｕｏＣｅｌｌｓ準備スライド＃１とＦｌｕｏＣｅｌｌｓ準備スライド＃２をＴｈｅｒｍｏ Ｆｉｓｈｅｒ社から入手した。これらの細胞は、異なる細胞構造と細胞小器官を発現するように標識されている。第１のスライドでは、ミトコンドリアにテキサスレッドを使用し、Ｆ－アクチン構造にＦＩＴＣを用いている。第２のスライドは微小管にＦＩＴＣを用いている。

［００１１１］蛍光画像の取得
［００１１２］ナノビーズ、Ｃ．ｅｌｅｇａｎｓ線虫の構造、およびＢＰＡＥＣサンプルの蛍光画像を、２０×／０．７５ＮＡ対物レンズ（ＵＰＬＳＡＰＯ２０Ｘ、オリンパスライフサイエンス）を用いて、倒立走査型顕微鏡（ＩＸ８３、オリンパスライフサイエンス）で撮像した。１３０Ｗの蛍光光源（Ｕ－ＨＧＬＧＰＳ、オリンパスライフサイエンス）を１００％の出力で使用した。テキサスレッドとＦＩＴＣの２つのバンドパス光学フィルタセットを使用した。ビーズサンプルは、ビーズの入ったカバースリップを顕微鏡サンプルマウントに直接置いて撮影した。傾斜した表面のサンプルは、ビーズの入ったカバースリップを３Ｄ印刷されたホルダに置き、焦点面に対して１．５°傾けて撮影した。蛍光ビーズの入った円筒形のチューブ表面を、顕微鏡のサンプルマウントに直接配置した。これらの蛍光ビーズサンプルは、テキサスレッドフィルタセットを用いて画像化した。線虫のサンプルスライドを顕微鏡のサンプルマウントに置き、テキサスレッドフィルタセットを用いて画像化した。ＢＰＡＥＣのスライドを顕微鏡サンプルマウントに置き、テキサスレッドとＦＩＴＣフィルタセットを用いて画像化した。すべてのサンプルについて、走査型顕微鏡には電動ステージ（ＰＲＯＳＣＡＮ ＸＹ ＳＴＡＧＥ ＫＩＴ ＦＯＲ ＩＸ７３／８３）があり、サンプルを異なるＦＯＶに移動させ、各位置で画像コントラストベースのオートフォーカスを実行した。電動ステージの制御には、ＭｅｔａＭｏｒｐｈ（商標）顕微鏡自動化ソフトウェア（Ｍｏｌｅｃｕｌａｒ Ｄｅｖｉｃｅｓ，ＬＬＣ）を使用した。それぞれの場所で、制御ソフトウェアは画像の標準偏差に基づいてサンプルのオートフォーカスを行い、０．５μｍのステップサイズで－２０μｍから２０μｍまでｚスタックを取得した。この画像スタックを、モノクロの科学計測用ＣＭＯＳカメラ（ＯＲＣＡフラッシュ４．０ｖ２、浜松ホトニクス）で撮影し、非圧縮ｔｉｆｆ形式、８１面、各面２０４８×２０４８ピクセルで保存した。

［００１１３］線虫のニューロン活動の画像を、２０×／０．８ＮＡ対物レンズ（ＨＣＰＬＡＰＯ２０ｘ／０．８０ＤＲＹ、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）と４０×／１．３ＮＡ対物レンズ（ＨＣＰＬＡＰＯ４０ｘ／１．３０ＯＩＬ、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）を用いて、異なる走査型広視野蛍光顕微鏡（ＴＣＳ ＳＰ８、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）で撮像した。テキサスレッドとＦＩＴＣの２つのバンドパス光学フィルタセットを使用した。画像は、モノクロの科学計測用ＣＭＯＳカメラ（Ｌｅｉｃａ－ＤＦＣ９０００ＧＴＣ－ＶＳＣ０８２９８）で撮影した。麻酔をかけたワームの画像スタックをキャプチャするために、制御ソフトウェア（ＬＡＳＸ、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）で制御された電動ステージが、サンプルスライドを異なるＦＯＶに移動させた。各ＦＯＶで、制御ソフトウェアは、中央の平面（ｚ＝０μｍ）を基準に－２０μｍから２０μｍまで、２０×／０．８ＮＡ対物レンズ画像のステップサイズは０．５μｍ、４０×／１．３ＮＡ対物レンズ画像のステップサイズは０．２７μｍでｚスタックを撮影した。それぞれのｚ平面で、テキサスレッドチャネルとＦＩＴＣチャネルの２つの画像を撮影した。動くワームの２Ｄビデオをキャプチャするために、制御ソフトウェアは、システムの最大速度でテキサスレッドチャネルとＦＩＴＣチャネルを時分割で多重化したタイムラプスビデオを撮影した。これにより、両方のチャネルをイメージングした場合、カメラの最大フレームレートが１０ｆｐｓの場合の平均フレームレートは約３．６ｆｐｓとなった。

［００１１４］ＢＰＡＥＣの広視野および共焦点蛍光画像を、別の倒立走査型顕微鏡（ＴＣＳ ＳＰ５、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）でキャプチャした。画像は６３×／１．４ＮＡ対物レンズ（ＨＣＰＬＡＰＯ６３×／１．４０ ＯｉｌＣＳ２、Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ）を用いて取得し、ＦＩＴＣフィルタセットを使用した。広視野画像は１３８０×１０４０ピクセル、１２ビットのダイナミックレンジのＣＣＤで記録し、共焦点画像は８ビットのダイナミックレンジ（１０２４×１０２４ピクセル）の光電子増倍管（ＰＭＴ）で記録した。走査型顕微鏡は、サンプルを様々なＦＯＶと深さに移動する電動ステージを有する。それぞれの場所で、軸方向に０．２μｍの間隔で１２枚の画像スタックを記録した。

［００１１５］画像の前処理とトレーニングデータの準備
［００１１６］キャプチャされた各画像スタックは、最初に「ＳｔａｃｋＲｅｇ」という名前のＩｍａｇｅＪプラグインを用いて軸方向に位置合わせを行い、顕微鏡ステージの誤差によって生じる剛体のずれと回転を補正した。次に、「Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ」という名前の別のＩｍａｇｅＪプラグインを用いて、拡張被写界深度（ＥＤＦ）画像を生成した。このＥＤＦ画像を、以下の３つのステップに従って、画像スタック全体を正規化するための参照画像として使用した：（１）三角形のしきい値を画像に用いて、背景と前景のピクセルを分離し、（２）ＥＤＦ画像の背景ピクセルの平均強度を背景ノイズであると判断して差し引き、（３）ＥＤＦ画像の強度を０－１にスケーリングし、ここでスケール係数を、背景の上の前景ピクセルの１％が１より大きくなる（飽和する）ように決定し、（４）スタック内の各画像を、この背景レベルで減算し、この強度スケール係数で正規化した。画像スタックのないテストデータには、ＥＤＦ画像の代わりに入力画像にステップ（１）～（３）を適用した。

［００１１７］トレーニングと検証のデータセットを準備するために、各ＦＱＶで、蛍光ＥＤＦ画像に固定しきい値の測地線拡張を適用して、背景より上のサンプルの蛍光信号を含む領域を表すマスクを生成した。次に、カスタマイズされたグレディアルゴリズム（greedy algorithm）を用いて、このマスクをカバーする２５６×２５６ピクセルの最小領域セットを決定し、これらのトレーニング領域間で約５％の領域がオーバーラップするようにした。これらの領域の横方向の位置を用いて、画像スタックのそれぞれの高さで画像をトリミングし、各領域の中央の平面を最も標準偏差が高い平面に設定した。次に、この中央の平面の上の２０個と、下の２０個の平面をスタックの範囲として設定し、これらの４１の平面のそれぞれから入力画像平面を生成した。データセットのサイズに応じて、この４１面のうち約５～１０面を、対応するターゲット平面としてランダムに選択し、約１５０～３００の画像ペアを形成した。これらの画像ペアのそれぞれについて、面の位置に基づいてリフォーカス距離を決定した（すなわち、入力面からターゲット面までの差の０．５μｍ倍）。この数を繰り返すことにより、均一なＤＰＭ４２が生成され、入力蛍光画像２０に付加された。最終的なデータセットには、通常、約１００，０００の画像ペアが含まれている。これをそれぞれ８５％のトレーニングデータセットと１５％の検証データセットにランダムに分けた。トレーニングプロセス中に、画像を９０°のランダムな倍数で反転または回転させることにより、各データポイントをさらに５倍に増量した。検証データセットは増量しなかった。テストデータセットは、トレーニングデータおよび検証データセットのＦＯＶと重複しないサンプルＦＯＶを用いた個別の測定から切り出された。

［００１１８］Ｄｅｅｐ－Ｚネットワークアーキテクチャ
［００１１９］Ｄｅｅｐ－Ｚネットワークは、最小二乗ＧＡＮ（ＬＳ－ＧＡＮ）フレームワークによって形成され、図１４に示すように、生成器（Ｇ）と識別器（Ｄ）の２つの部分で構成される。生成器（Ｇ）は畳み込みニューラルネットワーク（ＣＮＮ）であり、ダウンサンプリングパス４４および対称的なアップサンプリングパス４６で構成される。ダウンサンプリングパス４４には、５つのダウンサンプリングブロックがある。各ブロックには、次の式で入力テンソルｘ_ｋを出力テンソルｘ_ｋ＋１にマッピングする２つの畳み込み層が含まれている：
［００１２０］

［００１２１］ここで、ＲｅＬＵ［．］は正規化線形関数操作を表し、ＣＯＮＶ｛．｝は畳み込み演算子（バイアス項を含む）を表す。ＣＯＮＶの下付き文字は、畳み込み層のチャネル数を示し、ダウンサンプリングパスに沿って、それぞれレベルｋ＝１、２、３、４、５の場合、ｋ_１＝２５，７２，１４４，２８８，５７６、ｋ２＝４８，９６，１９２，３８４，７６８となる。式（１）の「＋」記号は残りの接続を表す。入力テンソルｘ_ｋにゼロパディングを用いて、入力テンソルと出力テンソルの間のチャネル番号の不一致を補正した。２つの連続するダウンサンプリングブロック間の接続は、２×ダウンサンプリングを実行するための２×２ピクセルのストライドを持つ２×２最大プーリング層である。５番目のダウンサンプリングブロックは、アップサンプリングパスに接続する。これについては次に詳しく説明する。

［００１２２］アップサンプリングパス４６には、対応する４つのアップサンプリングブロックがあり、各ブロックには、次の式で入力テンソルｙ_ｋ＋１を出力テンソルｙ_ｋにマッピングする２つの畳み込み層が含まれている：
［００１２３］

［００１２４］ここで、ＣＡＴ（．）演算子は、チャネル方向に沿ったテンソルの連結を表し、ＣＡＴ（ｘ_ｋ＋１，ｙ_ｋ＋１）は、対応するレベルｋ＋１のアップサンプリングパスのテンソルｙ_ｋ＋１にダウンサンプリングパスからテンソルｘ_ｋ＋１を追加する。ｋ_３およびｋ_４で表される畳み込み層のチャネル数は、それぞれｋ＝１、２、３、４のアップサンプリングパスに沿ってｋ_３＝７２、１４４、２８８、５７６およびｋ_４＝４８，９６，１９２，３８４である。連続するアップサンプリングブロック間の接続は、画像ピクセルを２倍にアップサンプリングするアップコンボリューション（畳み込み転置）ブロックである。最後のブロックは、４８チャネルを１つの出力チャネルにマッピングする畳み込み層である（図１４参照）。

［００１２５］識別器は、６つの連続する畳み込みブロックで構成される畳み込みニューラルネットワークであり、各ブロックは、所与のレベルｉで、入力テンソルｚ_ｉを出力テンソルｚ_ｉ＋１にマッピングする：
［００１２６］

［００１２７］ここで、ＬＲｅＬＵは、傾きが０．０１のＬｅａｋｙ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ演算子を表す。畳み込み演算子の下付き文字はチャネル数を表し、畳み込みブロックｉ＝１、２、３、４、５、６の場合、それぞれｉ_１＝４８，９６，１９２，３８４，７６８，１５３６、ｉ_２＝９６，１９２，３８４，７６８，１５３６，３０７２である。

［００１２８］最後の畳み込みブロックの後、平均プーリング層が出力を平坦化し、パラメータの数を３０７２に減らす。続いて、ＬＲｅＬＵ活性化関数を持つサイズ３０７２×３０７２の完全接続（ＦＣ）層と、シグモイド活性化関数を持つサイズ３０７２×１の別のＦＣ層がある。最終出力は識別器スコアを表し、（０，１）内に収まる。ここで、０は偽を表し、１は真のラベルを表す。

［００１２９］すべての畳み込みブロックは、３×３ピクセルの畳み込みカーネルサイズを用い、特に明記されていない限り、１ピクセルのパディングを複製する。すべての畳み込みのストライドは１×１ピクセルであるが、式（３）の２番目の畳み込みだけが、２×２ピクセルのストライドを持ち、識別器パスで２×ダウンサンプリングを実行する。重みはＸａｖｉｅｒイニシャライザで初期化され、バイアスは０．１に初期化される。

［００１３０］Ｄｅｅｐ－Ｚネットワークのトレーニングとテスト
［００１３１］Ｄｅｅｐ－Ｚネットワーク１０は、付加されたＤＰＭ４２によって与えられた情報を用いて、入力画像２０をユーザ定義の平面にデジタルリフォーカスすることを学習する。トレーニングフェーズでは、生成器Ｇ（．）の入力データの大きさは２５６×２５６×２であり、ここで第１のチャネルは蛍光画像、第２のチャネルはユーザ定義のＤＰＭである。Ｇ（．）のターゲットデータの大きさは２５６×２５６で、ＤＰＭで指定された表面での対応する蛍光画像を表す。識別器Ｄ（．）の入力データの大きさは２５６×２５６であり、これは生成器の出力または対応するターゲットｚ^（ｉ）のいずれかであり得る。トレーニングフェーズ中に、ネットワークは以下に規定されるように、生成器損失Ｌ_Ｇおよび識別器損失Ｌ_Ｄを繰り返し最小化する：
［００１３２］

［００１３３］

［００１３４］
ここで、Ｎは各バッチで使用される画像の数（例えば、Ｎ＝２０）、Ｇ（ｘ^（ｉ））は入力ｘ^（ｉ）の生成器出力、ｚ^（ｉ）は対応するターゲットラベル、Ｄ（．）は識別器、ＭＡＥ（．）は平均絶対誤差（mean absolute error）である。αはＬ_ＧのＧＡＮ損失とＭＡＥ損失の正則化パラメータである。トレーニングフェーズでは、α＝－０．０２が選択された。トレーニングの安定性と最適なパフォーマンスのために、適応モメンタムオプティマイザ（Ａｄａｍ）を用いてＬ_ＧとＬ_Ｄの両方を最小化し、Ｌ_ＧとＬ_Ｄの学習率はそれぞれ１０^－４と３×１０^－５とした。各反復で、生成器損失の６回の更新と識別器損失の３回の更新を実行した。検証セットは５０回の反復ごとにテストされ、検証セットでＭＡＥ損失が最小になるネットワークが（ブラインドテストされる）最適なネットワークとして選択された。

［００１３５］テストフェーズでは、トレーニングが完了すると、生成器ネットワーク（Ｇ）のみがアクティブになる。したがって、最終的に訓練された深層ニューラルネットワーク１０は、生成器ネットワーク（Ｇ）のみを含む。ＧＰＵのグラフィックメモリによって制限され、テストされた最大の画像ＦＯＶは１５３６×１５３６ピクセルであった。画像は０～１の範囲に正規化されているのに対し、リフォーカス距離は約－１０～１０（μｍ単位）のスケールであるため、Ｄｅｅｐ－Ｚネットワークのトレーニングとテストの前にＤＰＭエントリを１０で割って－１～１の範囲にし、画像とＤＰＭ行列のダイナミックレンジを互いに類似させた。

［００１３６］ネットワークはＴｅｎｓｏｒＦｌｏｗを用いて実装され、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７－８７００Ｋの６コア３．７ＧＨｚのＣＰＵと３２ＧＢのＲＡＭを搭載したＰＣで、Ｎｖｉｄｉａ ＧｅＦｏｒｃｅ１０８０Ｔｉ ＧＰＵを用いて実行された。平均して、トレーニングには約４０万回の反復（約５０エポックに相当）に約７０時間を要する。トレーニング後、ネットワーク推論時間は、同じＰＣで５１２×５１２ピクセルの画像の場合は約０．２秒、１５３６×１５３６ピクセルの画像の場合は約１秒であった。

［００１３６］蛍光ビーズの横方向および軸方向のＦＷＨＭ値の測定
［００１３８］蛍光ビーズサンプルの横方向のＦＷＨＭを測定するために、画像にしきい値を実行して、連結成分を抽出した。次に、これらの連結成分の重心の周りに３０×３０ピクセルの個々の領域を切り出した。これらの個々の領域のそれぞれに対して２Ｄガウスフィットを行い、Ｍａｔｌａｂ（ＭａｔｈＷｏｒｋｓ，Ｉｎｃ）のｌｓｑｃｕｒｖｅｆｉｔを用いて以下の関数に一致させた：
［００１３９］

［００１４０］次に、横方向のＦＷＨＭを、ｘ方向とｙ方向の平均ＦＷＨＭとして算出した：
［００１４１］

［００１４２］ここで、Δ_ｘ＝Δ_ｙ＝０．３２５μｍは、オブジェクト平面上の蛍光画像の有効ピクセルサイズであった。続いて、すべての閾値設定されたビーズの横方向のＦＷＨＭ値についてヒストグラムを生成した（例えば、図２Ａ～２Ｃではｎ＝４６１、図５Ａ～５Ｌではｎ＞７５０）。

［００１４３］ビーズサンプルの軸方向のＦＷＨＭ値を測定するために、デジタルリフォーカスまたは機械的にスキャンされた軸方向の画像スタックのいずれかから、各ビーズのｙ＝ｙ_ｃで８１ステップのｘ－ｚ方向に沿ったスライスを切り出した。以下の関数に一致するように、切り出した各スライスに対して別に２Ｄガウスフィットを行った：

［００１４５］次に、軸方向のＦＷＨＭを次のように計算した：
［００１４６］

［００１４７］ここで、Δ_ｚ＝０．５μｍは軸方向のステップサイズである。続いて、軸方向のＦＷＨＭ値のヒストグラムを生成した。

［００１４８］画質評価
［００１４９］ネットワーク出力画像Ｉ^ｏｕｔを、（１）平均二乗誤差（ＭＳＥ）、（２）二乗平均平方根誤差（ＲＭＳＥ）、（３）平均絶対誤差（ＭＡＥ）、（４）相関係数、（５）構造的類似性指数（ＳＳＩＭ）、の５つの異なる基準を用いて対応するグラウンドトゥルース画像Ｉ^ＧＴを参照して評価した。ＭＳＥは、最も広く使用されているエラーメトリックの１つであり、次のように定義される：
［００１５０］

［００１５１］ここで、Ｎ_ｘとＮ_ｙは、それぞれｘとｙ方向のピクセル数を表す。ＭＳＥの平方根がＲＭＳＥになる。ＭＳＥと比較して、ＭＡＥは２ノルムの差ではなく、１ノルムの差（絶対差）を使用しており、有意な異常値のピクセルの影響を受けにくくなる。
［００１５２］

［００１５３］相関係数は次のように定義される：
［００１５４］

［００１５５］ここで、μ_ｏｕｔとμ_ＧＴは、それぞれ画像Ｉ^ｏｕｔとＩ^ＧＴの平均値である。

［００１５６］上記のこれらの基準は、グラウンドトゥルース（ＧＴ）と比較したネットワーク出力の誤差を定量化するために使用できるが、２つの画像間で認識される類似性の強力な指標ではない。ＳＳＩＭは、次のように定義される画像の構造的類似性を評価することにより、この欠点に対処することを目的とする：
［００１５７］

［００１５８］ここで、σ_ｏｕｔとσ_ＧＴはそれぞれＩ^ｏｕｔとＩ^ＧＴの標準偏差であり、σ_{ｏｕｔ、ＧＴ}は２つの画像間の相互分散である。

［００１５９］Ｃ．ｅｌｅｇａｎｓ線虫のニューロン活動の追跡と定量化
［００１６０］線虫のニューロン活動追跡ビデオを、２つの蛍光チャネル（ＦＩＴＣ、続いてテキサスレッド、次にＦＩＴＣなど）を時分割多重化することによってキャプチャした。緑色のチャネルがＦＩＴＣ（ニューロンの活動）、赤色のチャネルがテキサスレッド（ニューロンの核）となるように、隣接するフレームを組み合わせた。後続のフレームは、ワームのわずかな体動を補正するために、Ｍａｔｌａｂ（ＭａｔｈＷｏｒｋｓ，Ｉｎｃ）の射影変換を用いた特徴ベースの位置合わせツールボックスを用いて位置合わせした。各入力ビデオフレームには、－１０μｍから１０μｍまでの伝播距離を０．５μｍのステップサイズで表すＤＰＭ４２が付加され、Ｄｅｅｐ－Ｚネットワーク１０（このイメージングシステム用に特別にトレーニングされたもの）でテストし、ビデオの各フレームについて仮想軸方向画像スタックを生成した。

［００１６１］個々のニューロンを位置特定するために、赤チャネルスタック（テキサスレッド、ニューロン核）を時間シーケンスの中央値強度で投影した。この投影された中央値強度スタックの極大値が各ニューロンの重心となり、各ニューロンのボクセルをＷａｔｅｒｓｈｅｄセグメンテーションでこれらの重心からセグメント化し、各ニューロンの３Ｄ空間ボクセルマスクを生成した。合計１５５個のニューロンが分離された。次に、各ニューロンの空間マスク内の緑チャネル（ＦＩＴＣ、ニューロン活動）の最も明るい１００個のボクセルの平均を、各時間枠ｔおよび各ニューロンｉ＝１，２，．．．，１５５のカルシウム活動強度Ｆ_ｉ（ｔ）として計算した。次に、各ニューロンの微分活動ΔＦ（ｔ）＝Ｆ（ｔ）－Ｆ_０を計算し、ここでＦ_０はＦ（ｔ）の時間平均である。

［００１６２］各ΔＦ（ｔ）の標準偏差を閾値設定して７０個の最も活性な細胞を選択し、スペクトルクラスタリングアルゴリズムを用いて、カルシウム活性パターンの類似性（図１２Ｂ）に基づいて、さらなるクラスタリングを行った。カルシウム活性パターンの類似性は以下のように規定した：

［００１６４］ニューロンｉとｊについて、類似性マトリックスＳが生成された（図１２Ｃ）。このガウス類似度関数の標準偏差はσ＝１．５であり、類似度グラフの近傍の幅を制御する。スペクトルクラスタリングは、重み行列Ｗと次数行列Ｄの差として定義される類似性行列Ｓから生成されたグラフラプラシアンＬの固有値問題を解決する。すなわち：
［００１６５］

［００１６６］ここで、
［００１６７］

［００１６８］

である。

［００１６９］クラスタの数は固有ギャップヒューリスティックを用いて選択した。これは、（一般的な固有値問題Ｌｖ＝λＤｖを解くことにより）固有値が大幅に跳ね上がる固有ギャップの前の最大の一般固有値の指標であり、これをｋ＝３と決定した（図１２Ｄ参照）。次に、対応する最初のｋ＝３固有ベクトルを行列として結合し、その行を標準的なｋ－ｍｅａｎｓクラスタリングを用いてクラスタリングし、その結果、図１２Ｅに示すカルシウム活性パターンの３つのクラスタと、図１２Ｅに示す再配置された類似性行列を生成した。

［００１７０］広視野画像と共焦点画像のクロスモダリティアラインメント
［００１７１］広視野／共焦点ペアの各スタックは、最初に自己整合され、正規化された。次に、ＩｍａｇｅＪの「Ｉｍａｇｅ Ｓｔｉｔｃｈｉｎｇ」プラグインを用いて、個々のＦＯＶをつなぎ合わせた。次に、Ｍａｔｌａｂ（ＭａｔｈＷｏｒｋｓ，Ｉｎｃ）で行われる射影変換による特徴ベースの位置合わせを用いて、つなぎ合わせた広視野および共焦点ＥＤＦ画像の共同位置合わせ（co-registration）を行った。次に、この推定変換を用いて、つなぎ合わせた共焦点ＥＤＦ画像を、つなぎ合わせたスタックとともに広視野の対応物と一致するように歪ませた（warped）（図１５Ａ）。続いて、広視野画像と歪んだ共焦点画像の重なり合わない領域を削除した。次に、上記のグレディアルゴリズムを用いて、残りのつなぎ合わせた広視野画像とそれに対応する歪んだ共焦点画像から、２５６×２５６ピクセルの空でない領域を切り出した。そして、切り出した領域の各ペアに同じ特徴ベースの位置合わせを適用して、細かい位置合わせを行った。このステップにより、広視野画像と、それに対応する共焦点画像との間に横方向の良好な対応が得られた（図１５Ｂ）。

［００１７２］軸方向スキャンのステップサイズは０．２μｍに固定されたが、広視野スタックと共焦点スタックの軸方向の基準ゼロ点を一致させる必要がある。この軸方向の基準ゼロ点を決定するために、各深度の画像を、構造類似性指数（ＳＳＩＭ）を用いて同じ領域のＥＤＦ画像と比較し、焦点曲線を得た（図Ｉ５Ｃ）。この焦点曲線のなかで、ＳＳＩＭ値が最も高い４つのポイントで２次多項式フィットを行い、フィットのピークを基準ゼロ点とした（図１５Ｃ）。次に、広視野および共焦点スタックの高さを、軸方向の対応する基準ゼロ点で中心に合わせた。入力として使用される広視野画像ごとに、４つの共焦点画像がターゲットとしてスタックからランダムに選択され、それらのＤＰＭが、共焦点画像と対応する広視野画像の中心の高さの値の軸方向の差に基づいて計算された。

［００１７３］コードの可用性（Code availability）
［００１７４］この作業で報告された深層学習モデルは、ＴｅｎｓｏｒＦｌｏｗで公開されている標準ライブラリとスクリプトを用いている。カスタム作成されたＦｉｊｉベースのプラグインを通じて、訓練されたネットワークモデルが（いくつかのサンプルテスト画像とともに）次の対物レンズに提供された：Ｌｅｉｃａ ＨＣ ＰＬ ＡＰＯ２０×／０．８０ＤＲＹ（ＴｘＲｄおよびＦＩＴＣチャネルでトレーニングされた２つの異なるネットワークモデル）、Ｌｅｉｃａ ＨＣ ＰＬ ＡＰＯ４０×／１．３０ＯＩＬ（ＴｘＲｄチャネルでトレーニング）、オリンパスＵＰＬＳＡＰＯ２０Ｘ－０．７５ＮＡ（ＴｘＲｄチャネルでトレーニング）。このカスタム作成されたプラグインとモデルは、リンク（http://bit.ly/deep-z-gitとhttp://bit.ly/deep-z）で公開されている。これらはすべて参照により本書に組み込まれる。

［００１７５］下部画像露出分析のための画像取得とデータ処理
［００１７６］トレーニング画像データは、蛍光励起光源の出力を２５％（３２．５ｍＷ）に設定し、露光時間をそれぞれ１０ｍｓと１００ｍｓに設定したことを除いて、ここで報告されているマイクロビーズサンプルと同じ２０×／０．７５ＮＡ対物レンズで画像化された３００ｎｍ赤色蛍光ビーズサンプルを用いてキャプチャされた。１０ｍｓと１００ｍｓの露光時間でキャプチャされた画像データセットを用いて、２つの別々のＤｅｅｐ－Ｚネットワーク１０をトレーニングした。各トレーニング画像セットには約１００，０００の画像ペア（入力とグラウンドトゥルース）が含まれ、各ネットワークは約５０回のエポックでトレーニングされた。

［００１７７］テスト画像データは、露光時間が３ｍｓから３００ｍｓまで変化させた以外は、同じ設定でキャプチャされた。トレーニング画像とテスト画像は、同じ前処理アルゴリズムを用いて正規化された。画像の位置合わせ後、入力画像は、サンプルの前景ピクセルと背景ピクセルを分離するために、三角しきい値法を用いて同様に最初にしきい値処理した。背景ピクセル値の平均を背景の蛍光レベルとし、画像全体から減算した。その後、前景ピクセルの１％が飽和する（１より上となる）ように画像を正規化した。この前処理ステップでは、画像の切り取りや量子化は行わなかった。これらの前処理された画像（単精度フォーマット）は、トレーニングやブラインドテストのためにネットワークに直接送られた。

［００１７８］Ｄｅｅｐ－Ｚを使用した時間変調信号の再構成
［００１７９］トレーニングデータは、蛍光光源の出力を２５％（３２．５ｍＷ）、露光時間１００ｍｓに設定したことを除いて、先に報告したマイクロビーズサンプル（例えば、図５）と同じ、テキサスレッドフィルタセットを備えた２０×／０．７５ＮＡ対物レンズを用いて３００ｎｍ赤色蛍光ビーズについてキャプチャした。

［００１８０］テストデータは、単一の２Ｄ平面（＃１カバースリップにピペット）に配置された３００ｎｍ赤色蛍光ビーズの画像で構成され、１秒周期の正弦波パターンに従ってＬＥＤコントローラの出力電流を０～１．２Ａに変調する関数発生器（ＳＤＧ２０４２Ｘ、Ｓｉｇｌｅｎｔ）で変調されるＬＥＤコントローラ（ＬＥＤＤ１Ｂ、Ｔｈｏｒｌａｂｓ）によって駆動される外部発光ダイオード（Ｍ５３０Ｌ３－Ｃ１、Ｔｈｏｒｌａｂｓ）を用いてキャプチャした。テキサスレッドフィルタと１００ｍｓの露光時間を使用した。同じＦＯＶを、インフォーカス面（ｚ＝０μｍ）と５つのデフォーカス面（ｚ＝２、４、６、８、１０μｍ）でキャプチャした。各面で、２秒のビデオ（すなわち変調の２周期）を毎秒２０フレームでキャプチャした。その後、デフォーカスした平面の各フレームを、訓練されたＤｅｅｐ－Ｚネットワーク１０を用いて仮想的にリフォーカスし、デジタル的に焦点面（ｚ＝０μｍ）に到達させた。ｚ＝０μｍでキャプチャされたサンプルＦＯＶ内の２９７個の個々のビーズの蛍光強度の変化を、２秒の時間ウィンドウで追跡した。同じ２９７個のビーズを、仮想的にリフォーカスした５つのタイムラプスシーケンスを用いて（Ｄｅｅｐ－Ｚ出力を用いて）時間の関数として追跡した。各ビーズの強度曲線を、０から１の間で正規化した。これらの２９７個の正規化された曲線に対応する平均および標準偏差を、図１９Ａ～１９Ｂにプロットした。

［００１８１］ニューロンのセグメンテーション分析
［００１８２］図２０Ａ、２０Ｄ、２０Ｇのニューロンの位置を、２つの異なる方法（例えば、Ｄｅｅｐ－Ｚと機械的にスキャンされたグラウンドトゥルース）からのニューロンのペアを最初に照合することで比較した。セグメント化されたニューロンの２つのグループ（Ω_１、Ω_２）のマッチングは、空間座標で表され、以下のように２部グラフの最小コストマッチング問題として考えられる：
［００１８３］

［００１８４］

［００１８５］

［００１８６］

［００１８７］ここで、ｘ_ｅ＝１は、ニューロンの２つのグループ（Ω_１、Ω_２）間のエッジが一致に含まれることを表す。エッジｅ＝（ｕ_１、ｕ_２）のコストは、ｕ_１∈Ω_１、ｕ_２∈Ω_２の間のマンハッタン距離、すなわちｃ_ｅ＝｜ｘ_１－ｘ_２｜+｜ｙ_１－ｙ_２｜+｜ｚ_１－ｚ_２｜に基づいて定義される。この問題は完全にユニモジュラ条件を満たすため、上記の整数制約ｘ_ｅ∈｛０，１｝は、最適解を変えずに線形制約ｘ≧０に緩和することができ、問題はＭａｔｌａｂ関数ｌｉｎｐｏｒｇを使用した線形計画法により解決した。その後、ペアになった各ニューロン間の距離を計算し、それらの分布をプロットした。

［００１８８］より低い画像露出でのＤｅｅｐ－Ｚ仮想リフォーカス機能
［００１８９］可変露光条件下（信号対雑音比、ＳＮＲに直接影響する）で事前トレーニングされたＤｅｅｐ－Ｚネットワークモデルの一般化パフォーマンスをさらに検証するために、１０ｍｓと１００ｍｓの露光時間でキャプチャされたマイクロビーズ画像を用いて２つのＤｅｅｐ－Ｚネットワークを訓練し、これらの訓練されたネットワークはそれぞれＤｅｅｐ－Ｚ（１０ｍｓ）とＤｅｅｐ－Ｚ（１００ｍｓ）として示し、３ｍｓから３００ｍｓの間で変化する露光時間の下でキャプチャされたデフォーカス画像を仮想的にリフォーカスするために、その性能をブラインドテストした。これらのブラインドテストの結果の例を図１６Ａに示し、入力ビーズ画像は－５．０、３．０、および４．５μｍでデフォーカスされている。露光時間が短いと、ビット深度が浅くなるため、ノイズと画像の量子化エラーによって入力画質が低下した。図１６Ａに示すように、Ｄｅｅｐ－Ｚ（１００ｍｓ）モデルは、１０ｍｓの露光時間に下るまで入力画像をうまくリフォーカスできる。しかし、Ｄｅｅｐ－Ｚ（１００ｍｓ）モデルでは、３ｍｓの露光時間で取得された入力画像の焦点を仮想的にリフォーカスできず、背景ノイズのあるぼやけた出力画像となった。他方、Ｄｅｅｐ－Ｚ（１０ｍｓ）モデルは、図１６Ａ～１６Ｃに示すように、３ｍｓの露光時間でキャプチャされた入力画像をうまくリフォーカスできる。興味深いことに、Ｄｅｅｐ－Ｚ（１０ｍｓ）モデルは、長い露光時間で取得された入力画像のパフォーマンスがわずかに低下する。例えば、３００ｍｓの露光時間で取得された入力画像は、図１６Ａの最後の行に示すように、出力画像においてわずかにぼやけている。これらの観察は、図１６Ｂ、１６Ｃにおいて、Ｄｅｅｐ－Ｚ出力画像で計算された画像化されたマイクロビーズの中央値ＦＷＨＭ値をリフォーカス距離の関数として定量化することによってさらに確認される。この分析では、Ｄｅｅｐ－Ｚ（１００ｍｓ）モデルが、約［－１μｍ，１μｍ］の狭いデフォーカスウィンドウの外側で３ｍｓの露光時間でキャプチャされた画像を正常にリフォーカスできないことが確認された（図１６Ｂを参照）。一方、Ｄｅｅｐ－Ｚ（１０ｍｓ）モデルは、３ｍｓの露光時間でキャプチャされた入力画像に対するリフォーカス性能が向上していることが分かる（図１６Ｇ）。これらの結果は、テスト画像の予想露光時間に比較的近い露光時間で取得された画像を用いてＤｅｅｐ－Ｚモデルをトレーニングすることが、推論を成功させるために重要であることを示している。別の重要な観察は、Ｄｅｅｐ－Ｚ出力画像４０は、図７について述べたように、ニューラルネットワークのトレーニングフェーズ中にノイズが全体的に十分に一般化されないため、グラウンドトゥルース画像と比較して背景ノイズも拒絶することである。

［００１９０］また、Ｄｅｅｐ－Ｚのノイズ性能は、例えば、顕微鏡のフーリエ面に位相マスクを挿入することによって、顕微鏡の点像分布関数（ＰＳＦ）を操作して、拡張された被写界深度にまたがるように設計することで、理想的には蛍光信号収集経路に沿った光子損失を増やすことなくさらに強化できる可能性がある。例えば、位相および／または振幅マスクを、顕微鏡１１０の光路（軸方向）に沿って配置することができる。二重らせんＰＳＦは、設計されたＰＳＦの１つの例である。さらに、蛍光顕微鏡１１０は、広視野蛍光顕微鏡１１０を含んでもよい。顕微鏡１１０はまた、ライトシートシステムを含んでもよい。

［００１９１］サンプルおよびイメージングシステムの変化に対するＤｅｅｐ－Ｚのロバスト性
［００１９２］これまでの結果では、ブラインドテストされたサンプル１２を、同じタイプのサンプル１２および同じ顕微鏡システム１１０を用いて訓練されたＤｅｅｐ－Ｚネットワーク１０を用いて推測した。ここでは、例えば（１）画像化されるサンプル１２の種類が異なる、（２）イメージングに使用される顕微鏡システム１１０が異なる、（３）照明出力やＳＮＲが異なるなど、トレーニング画像セットと比較してテストデータの分布に変化が導入されるような、異なるシナリオでのＤｅｅｐ－Ｚのパフォーマンスについて説明する。

［００１９３］最初の項目に関して、訓練されたサンプルタイプ１２とテストされたサンプルタイプ１２の分布の間に高い類似性がある場合、ネットワーク出力のパフォーマンスは同等であると予想される。図１７Ａ、１７Ｂに報告されているように、ｔａｇＲＦＰで標識された線虫ニューロン核の画像を仮想的にリフォーカスするように訓練されたＤｅｅｐ－Ｚネットワーク１０が、ＧＦＰ標識された線虫ニューロン活動の画像を仮想的にリフォーカスするようにブラインドテストされた。異なるモデル欄の出力画像の結果は、ＧＦＰ標識されたニューロン活動画像に特化して訓練された最適モデル（同じモデル列）の出力画像や、機械的にスキャンされたグラウンドトゥルース（ＧＴ）画像と非常によく似ており、同じサンプルのグラウンドトゥルース画像に関して、２つの出力画像セットの相関係数にわずかな違いがみられた。Ｃ．ｅｌｅｇａｎｓ線虫の異なる系統の画像でブラインドテストしたＤｅｅｐ－Ｚモデルの有効性についても、同様の結論が導き出されると考えられる。

［００１９４］一方、トレーニングサンプルの種類とその光学的特徴がテストサンプルと大幅に異なる場合、Ｄｅｅｐ－Ｚのパフォーマンスに顕著な違いが見られることがある。例えば、図１７Ｂに示すように、３００ｎｍのビーズで訓練されたＤｅｅｐ－Ｚネットワーク１０は、典型的に１～５μｍのサイズの線虫のニューロン核の画像を部分的にリフォーカスすることしかできず、したがってナノビーズのみを含む訓練画像データセットでは十分に表されない。この制限は、１つのタイプのサンプル（例えば、この例ではナノビーズ）で訓練されたネットワーク１０をネットワークの重みの初期化として使用し、ニューロン核を含む新しい画像を用いてＤｅｅｐ－Ｚネットワーク１０をさらに訓練する転移学習プロセスによって改善できる。最適なモデルに到達するのに約４０，０００回の反復（約６０時間）を要するゼロからの開始（例えば、ランダム化された初期化）と比較して、転移学習は、わずか約４，０００回の反復（約６時間）で最適なモデルを達成してニューロン核画像のリフォーカスに成功するのに寄与し、これは最適なモデルの性能に一致する（図１７Ａ、１７Ｂの転移学習列）。この転移学習アプローチは、例えば約５００～１，０００回の反復で新しい画像データを用いて改良された以前のモデルを使用して、異なるタイプの線虫の画像化にも適用することができる。転移学習のもう１つの利点は、使用するトレーニングデータが少ないことである。例えば、今回のケースでは、最適モデルに使用した元のトレーニングデータの２０％のみを転移学習に使用している。

［００１９５］第２の項目に関して、すなわち、画像化に使用される顕微鏡システム１１０の変化の可能性も、事前に訓練されたネットワークモデルの推論性能に悪影響を与え得る。事前にトレーニングされたＤｅｅｐ－Ｚネットワークにとって困難なシナリオの１つは、開口数（ＮＡ）を変更した別の対物レンズを用いてテスト画像がキャプチャされた場合であり、これにより３ＤＰＳＦプロファイルが直接変更され、特に深度方向に沿ってＤｅｅｐ－Ｚで学習された特徴から逸脱する。サンプルタイプの変化と同様に、イメージングシステムパラメータの違いが小さい場合、以前にトレーニングされたＤｅｅｐ－Ｚネットワーク１０を用いて、別の顕微鏡でキャプチャされた画像をある程度仮想的にリフォーカスできると予想される。図１８はこのシナリオの例を示し、２０×／０．７５ＮＡ対物レンズを備えたオリンパスＩＸ８１顕微鏡を用いて撮影した線虫のニューロン核の画像を用いて訓練されたＤｅｅｐ－Ｚネットワーク１０を、２０×／０．８ＮＡ対物レンズを備えたライカＳＰ８顕微鏡でキャプチャした画像でブラインドテストを行った。別の言い方をすれば、２つの異なる会社によって製造された２つの異なる顕微鏡が使用され、トレーニングフェーズとテストフェーズの間でＮＡがわずかに変更されている。図１８に示すように、最適モデルと比較して、仮想リフォーカスの結果のほとんどは成功している。ただし、これらのイメージングパラメータの変更により、仮想的にリフォーカスされた画像内のニューロンが異なるモデル出力列でいくつか誤って配置され、最適なＤｅｅｐ－Ｚネットワーク出力と異なるモデル出力の相関係数に約０．０２～０．０６のわずかな違いが生じた（どちらも２つの異なる顕微鏡システムを用いて取得された対応するグラウンドトゥルース画像に関して計算した）。前述したように、転移学習を用いて、オリンパスＩＸ８１顕微鏡（２０×／０．７５ＮＡ対物レンズ）でトレーニングされた最初のＤｅｅｐ－Ｚモデルを初期化し、ライカＳＰ８顕微鏡（２０×／０．８ＮＡ対物レンズ）でキャプチャした新しい画像データセットに対して、さらに約２，０００回の反復を行うことで、これらの結果をさらに改善することもできる。前の例と同様に、図１８では、最適モデルに使用された元のトレーニングデータの２０％を転移学習に使用した。

［００１９６］３番目の項目について、照明出力は、露光時間と蛍光体の効率とともに、入力画像のダイナミックレンジとＳＮＲという２つの主要な要素に寄与する。前処理ステップで背景の蛍光を除去し、三角形閾値に基づく正規化ステップも含まれるため、入力画像は常に類似の信号範囲に再正規化され、したがって、照明出力に関連するダイナミックレンジの変化はＤｅｅｐ－Ｚネットワーク１０の主要な課題とならない。さらに、前に詳述したように、堅牢な仮想リフォーカスは、大幅に低いＳＮＲ、すなわちはるかに短い露光時間で取得された入力画像を使用して達成することができる（図１６Ａ～１６Ｃを参照）。これらの結果および対応する分析は、Ｄｅｅｐ－Ｚネットワーク１０が、入力画像のダイナミックレンジおよびＳＮＲで観察される変化に対してかなりロバストであることを明らかにしている。これを拡大すると、テスト画像の予想露光時間と比較的近い露光時間で取得された画像を用いてＤｅｅｐ－Ｚネットワーク１０をトレーニングすることが、Ｄｅｅｐ－Ｚネットワーク１０の様々な用途に推奨される。実際、同じ結論が一般的に当てはまり、Ｄｅｅｐ－Ｚネットワーク１０の推論結果で最高のパフォーマンスを達成するには、ニューラルネットワーク１０を、テストフェーズで使用されると予想されるのと同じ顕微鏡システム１１０と同じタイプのサンプル１２で取得したトレーニング画像を用いてトレーニングする必要がある（ゼロから、またはトレーニングプロセスを大幅に促進する転移学習を通じて）。

［００１９７］Ｄｅｅｐ－Ｚを用いた時間変調信号の再構成
［００１９８］Ｄｅｅｐ－Ｚネットワーク１０の一般化機能をさらに検証するために、時間的に変化する外部励起によってマイクロビーズの蛍光を時間とともに変調させる実験を行った。図１９Ａは、毎秒２０フレームのフレームレートで２秒間にわたって追跡した焦点面（ｚ＝０μｍ）における２９７個の個々のマイクロビーズの時間変調信号を、それらの正規化された平均値と標準偏差でプロットしたものである。この曲線は、入力励起光と同様の変調パターンを示しているが、蛍光の非線形応答により、完全な正弦曲線からわずかにずれている。標準偏差は、各ポイントでの平均信号の約１．０％であった。Ｄｅｅｐ－Ｚネットワーク１０のブラインド推論をテストするために、図１９Ａの後続のエントリは、同じ視野（ＦＯＶ）に対応する同じ量を報告しているが、デフォーカス面（ｚ＝２、４、６、８、１０μｍ）でキャプチャされ、固定の信号強度でキャプチャされた画像でトレーニングされたＤｅｅｐ－Ｚネットワーク１０を使用して焦点面（ｚ＝０μｍ）に仮想リフォーカスされる。仮想リフォーカス画像（ｚ＝２、４、６、８、１０μｍ）を用いて計算された平均曲線は、インフォーカス画像（ｚ－０μｍ）と非常によく一致したが、標準偏差は仮想リフォーカス距離の増加とともにわずかに増加し、仮想リフォーカス距離ｚ＝２、４、６、８、１０μｍの場合、それぞれ平均信号の約１．０％、１．１％、１．７％、１．９％、および２．１％であった。

［００１９９］この取得された一連の画像に基づいて、１つおきのフレームをとって新しいビデオを形成した。そうすることで、ダウンサンプリングされたビデオは元の２秒のビデオが１秒に圧縮され、２倍の周波数（２Ｈｚ）で変調されたビーズのグループを形成した。このダウンサンプリングされたビデオを繰り返し、８ピクセル（２．６μｍ）の横方向のシフトで、フレームごとに元のビデオに戻した。図１９Ｂは、これらの追加された画像に対するＤｅｅｐ－Ｚネットワーク１０出力を示し、これは同じ出力画像シーケンスで別々にマスクされた、元の変調周波数１Ｈｚ（第１行）および２倍の変調周波数２Ｈｚ（第２行）を有する２９７対のビーズに対応している。この分析により、Ｄｅｅｐ－Ｚの出力が正弦波照明をよく追跡し、図１９Ａと同じように、１列目で報告されたインフォーカスの基準時間変調に厳密に従っていることが示された。異なるデフォーカス面の入力および出力ＦＯＶから切り取られた、これらの１Ｈｚおよび２Ｈｚエミッタの６つのペアを含む関心領域の例を示すビデオも作成した。

［００２００］Ｃ．ｅｌｅｇａｎｓ線虫のニューロンセグメンテーションの比較
［００２０１］Ｄｅｅｐ－Ｚネットワーク１０が実際に、拡張された被写界深度にわたって仮想リフォーカスすることによってより多くのニューロンをセグメント化するのに役立つことを説明するために、図２０Ａに見られるように、入力２Ｄ画像に同じセグメンテーションアルゴリズムを適用した結果では、セグメンテーションアルゴリズムは、深度情報なしで９９個のニューロンを検出した（図２０Ｂ参照）。比較すると、（単一の入力画像から計算される）Ｄｅｅｐ－Ｚの出力画像スタックにより、１５５個のニューロンの検出が可能になり（図２０Ｃと図４Ｂ参照）、各ニューロンの深度位置も予測された（色分けで示す）。この場合、ニューロンの活動を追跡するために２Ｄビデオを使用したため、このサンプルには走査型顕微鏡で取得した対応する３Ｄ画像スタックがなかったことに留意されたい。

［００２０２］軸方向の機械的スキャンを用いてキャプチャされたグラウンドトゥルース３Ｄ画像スタックとの比較をよりよく説明するために、２Ｄ入力画像から同じアルゴリズム用いて計算された別の線虫のセグメンテーション結果と、対応するＤｅｅｐ－Ｚ仮想画像スタックと、機械的にスキャンされたグラウンドトゥルース画像スタック（０．５μｍの軸方向間隔で４１個の深さで取得）を示す（図２０Ｄ～２０Ｉ）。入力画像から得られたセグメンテーション結果（図２０Ｅ）と比較して、Ｄｅｅｐ－Ｚで生成された仮想画像スタックを用いて得られたセグメンテーション結果（図２０Ｆ）は、３３個のニューロンが追加で検出され、合計１２８個のニューロンの正しい３Ｄ位置も予測された。グラウンドトゥルースの機械的スキャンされた３Ｄ画像スタック（図２０Ｉ）と比較して、Ｄｅｅｐ－Ｚで生成した仮想スタックでは、セグメンテーションアルゴリズムで認識したニューロンの数が１８個減少した。これらのニューロンは、ほとんどがワームの頭部内にあり、ニューロンの密度が高く、復元とセグメント化が比較的困難である。胴体や尾などのワームのまばらな領域では、ニューロンはほぼ正しくセグメント化されており、機械的スキャンされた３Ｄ画像スタック（４１個の軸方向スキャンで構成）を用いて得られた結果と一致した。セグメント化されたニューロンの深度位置（色分けで示す）も、グラウンドトゥルースの機械的スキャンされた３Ｄ画像スタックを用いて測定された対応する深度とよく一致した。

［００２０３］サンプルの密度の高い領域（ワームの頭など）でのＤｅｅｐ－Ｚネットワークベースのニューロンセグメンテーションのパフォーマンスを向上させるために、複数の入力画像を取得して自由度を高め、各Ｄｅｅｐ－Ｚ入力画像のスタックを仮想的にリフォーカスされた画像スタックを他の画像とマージして、高密度の関心領域内で失われたニューロンの一部を回復させることが可能である。機械的スキャンされた３Ｄ画像スタックと比較しても、これは依然として大幅に高速であり、標本ボリュームを画像化するために取得する必要のある画像は少なくてよい。例えば、図２０Ｈでは、Ｄｅｅｐ－Ｚによって作成された２つの仮想画像スタックをマージしたセグメンテーションの結果が示されている。どちらも－１０μｍ～１０μｍにまたがり、それぞれｚ＝０μｍとｚ＝４μｍで取得した２つの異なる入力画像から生成されている。

［００２０４］マージは、２つの画像スタックの最大ピクセル値を取得することによって実行した。この場合のセグメンテーションアルゴリズムでは、Ｎ＝１４８個のニューロンが識別され（図２０ＦのＮ＝１２８個から改善された）、この結果はグラウンドトゥルース軸方向スキャン結果（図２０ＩのＮ＝１４６）によく一致する。この比較にさらに光を当てるべく、まったく同じ画像データセットに別のセグメンテーションアルゴリズムを使用した。ＴｒａｃｋＭａｔｅという名前のＤｏＧセグメンテーション方法を使用した結果、Ｄｅｅｐ－Ｚネットワーク１０の出力には１４６個のニューロン、ターゲット画像スタック（機械的スキャンされたもの）には１７７個のニューロン、Ｄｅｅｐ－Ｚマージスタック（入力画像として２つの軸平面のみを使用）には１７９個のニューロンが得られ、Ｄｅｅｐ－Ｚの結果と機械的スキャンされた画像スタックで得られた結果がほぼ一致した。２つの異なるニューロンセグメンテーションアルゴリズムの比較は、ニューロンセグメンテーション自体にいくらかの不整合があることも示している（つまり、単一のグラウンドトゥルースメソッドがない可能性がある）。これらの結果は、ニューロンイメージングにおいてＤｅｅｐ－Ｚネットワーク１０の応用可能性に関する概念実証研究と見なされるべきであることに留意すべきである。Ｄｅｅｐ－Ｚは、Ｄｅｅｐ－Ｚネットワーク１０とその出力画像４０を最大限に活用してｍワームや他のモデル生物の神経活動を正確かつ効率的に追跡するために必要な画像平面の数を減らすことができる、将来の深層学習ベースのニューロンセグメンテーションアルゴリズムを共同で最適化するフロントエンドモジュールとして使用できる可能性がある。この場合のセグメンテーション結果は２０×／０．８ＮＡ対物レンズを使用していることにも留意されたい。提示のアプローチは、より高いＮＡの対物レンズを使用すれば、ワームの頭部領域でより良い結果が得られる可能性がある。しかし、より高いＮＡの対物レンズを用いて機械的スキャンした画像スタックと最先端のニューロンセグメンテーションアルゴリズムを使用しても、各実験でワーム体内のすべてのニューロンを正確に識別できるものではない。

［００２０５］Ｄｅｅｐ－Ｚ推論におけるサンプル密度の影響
［００２０６］蛍光エミッタが互いに近すぎたり、あるＦＯＶ内で１つの特徴の強度が他の特徴よりもはるかに弱かったりすると、仮想的にリフォーカスされたＤｅｅｐ－Ｚ画像４０の強度分布がグラウンドトゥルース（ＧＴ）から逸脱する可能性がある。これにさらに光をあてるべく、実験データから得られた数値シミュレーションを用いて、（１）個々の３００ｎｍの蛍光ビーズを含む平面蛍光画像を横方向にシフトさせ、（２）このシフトさせた画像の強度を元の強度に対して比率（０．２～１．０）で減衰させ、（３）この減衰させシフトされた特徴を元の画像に戻す作業を行った（これの説明については、図２１Ａ－２１Ｂ参照）。空間的に不変のインコヒーレントＰＳＦに基づいて、実験データから導出されたこの数値シミュレーションは、互いに信号強度が異なり、互いの距離も変化する２つの蛍光オブジェクトのセットがあるイメージングシナリオを表している。結果として得られたデフォーカス距離の異なる画像（図２１Ｂを参照）は、平面状のビーズサンプルを用いて訓練されたＤｅｅｐ－Ｚネットワークによって、実質的に正しい焦点面に仮想的にリフォーカスされた。図２１Ｂ～２１Ｈは、例えば横方向に１～１５ピクセル、軸方向に０～１０μｍのデフォーカスのあるビーズ対の様々な例を示し、その強度比は０．２～１．０に及んでいる。

［００２０７］これらの異なる入力画像に対するＤｅｅｐ－Ｚ推論のパフォーマンスを定量化するために、図２１Ｃ～２１Ｈでは、実質的にリフォーカスされた平面における１４４対の薄暗いビーズと明るいビーズの平均強度比を、横方向シフト量（ｄ）と薄暗いビーズと明るいビーズの強度比の関数としてプロットしており、最大１０μｍの様々なデフォーカス距離もカバーしている。この図の各パネルでは、２つのビーズ間の最小解像可能距離を十字記号「ｘ」で示している。図２１Ｃ～２１Ｈは、デフォーカス距離が大きく、比率が小さいほど、ビーズペアが正確に解像するためにわずかに大きな横方向シフト量が必要であることを明らかにしている。

［００２０８］次に、軸方向のオクルージョンの影響を調べたが、これは解決がより難しい場合がある。このために、実験データから得られた新しい数値シミュレーションを作成し、ここでは平面的な蛍光ビーズの画像スタックを軸方向にシフトし、異なる強度比で対応する元の画像スタックに戻した（図２２の説明を参照）。推論タスクを正確に表すために、深層ネットワーク１０は、軸方向に重なり合うオブジェクトを含む拡張データセットを用いた転移学習によって訓練された。図２２Ａは、それぞれｚ＝０およびｚ＝８μｍに位置する一対のビーズに対するＤｅｅｐ－Ｚの結果を示す。ネットワーク１０は、これらの２つのビーズを別々にリフォーカスすることに成功し、ｚ＝０μｍおよびｚ＝８μｍでｚ軸に沿った２つの強度最大値を推論し、シミュレートされた機械的スキャンされた画像スタック（グラウンドトゥルース）と非常によく一致した。図２２Ｃ、２２Ｄは、それぞれ仮想的にリフォーカスされたＤｅｅｐ－Ｚ画像スタックとシミュレーションされたグラウンドトゥルース画像スタックの両方について、ｚ＝８μｍに対応するサンプルＦＯＶ内の１４４個の個々のビーズ対について、上部（すなわち、暗い方）のビーズと下部のビーズ（すなわち、元のスタック内のビーズ）の強度比の平均をプロットしたものである。図２２Ｃ、２２Ｄの結果は類似しており、正確な強度比の値に若干の差異がある。この結果は、３Ｄ畳み込みニューラルネットワークアーキテクチャを使用することで、さらに改善される可能性がある。

［００２０９］Ｄｅｅｐ－Ｚの３Ｄネットワーク推論に対する軸方向のリフォーカス距離と蛍光サンプルの密度の影響をさらに理解するために、粒子密度の異なる３Ｄビーズサンプルに対応する追加のイメージング実験を行い、ここでは様々な濃度の２．５μＬの赤色蛍光ビーズ（３００ｎｍ）溶液を、スライドガラス上の１０μＬのＰｒｏＬｏｎｇ Ｇｏｌｄ退色防止封入剤（Ｐ１０１４４、ＴｈｅｒｍｏＦｉｓｈｅｒ）と混合して調整した。薄いカバースリップでサンプルを覆った後、サンプルは自然に３Ｄサンプルボリュームになり、３００ｎｍの蛍光ビーズが軸方向に約２０～３０μｍに広がった。異なるビーズ密度に対応する異なるサンプルを、テキサスレッドチャネルを用いて２０×／０．７５ＮＡ対物レンズを用いて軸方向にスキャンした。最適なパフォーマンスを得るために、Ｄｅｅｐ－Ｚネットワークは、サンプルの１つからキャプチャされた６つの画像スタック（２０４８×２０４８ピクセル）を用いて、転移学習でトレーニングされた（元のビーズネットワークで初期化）。ブラインドテストには、５４の重複しない画像スタック（１５３６×１５３６ピクセル）を使用した。各画像スタック内で、ステップサイズ０．５μｍで±１０μｍの範囲にある４１の軸方向平面をグラウンドトゥルース（機械的スキャンしたもの）として使用し、中央の平面（ｚ＝０μｍ）をＤｅｅｐ－Ｚへの入力画像として使用した。これで、グラウンドトゥルース（ＧＴ）画像と同じ深度範囲にわたる、仮想的にリフォーカスされた出力画像スタック４０が生成された。しきい値処理が、グラウンドトゥルースとＤｅｅｐ－Ｚ出力画像スタックに適用され、しきい値処理後の各接続領域は３００ｎｍのビーズを表している。図２３Ａは、入力画像２０と、グラウンドトゥルース画像スタック（ＧＴ）の最大強度投影（ＭＩＰ）、ならびにブラインドテストに使用したいくつかの重複しないサンプル領域に対応するＤｅｅｐ－Ｚネットワークの出力画像４０スタックを示す。粒子濃度が低い場合（０．５×１０^６μＬ^－１未満）、Ｄｅｅｐ－Ｚ出力画像４０スタックの結果は、軸方向のデフォーカスが±１０μｍのトレーニング範囲で機械的スキャンされたグラウンドトゥルース（ＧＴ）の結果と非常によく一致する。粒子濃度が高くなると、Ｄｅｅｐ－Ｚネットワークの出力は、個々のビーズをすべてリフォーカスして回収する能力が徐々になくなり、蛍光ビーズのカウントが少なくなる。

［００２１０］実際、Ｄｅｅｐ－Ｚネットワーク１０のこのリフォーカス能力は、蛍光物体の濃度に依存するだけでなく、リフォーカス軸方向距離にも依存する。これを定量化するために、図２３Ｂ～２３Ｅは、機械的にスキャンされたグラウンドトゥルース画像スタックと、Ｄｅｅｐ－Ｚ仮想リフォーカス画像４０スタックを用いて測定された蛍光粒子密度とを、軸方向のデフォーカス距離、すなわち入力平面（ｚ＝０μｍ）からそれぞれ±２．５μｍ、±５μｍ、±７．５μｍ、±１０μｍの関数としてプロットしたものである。例えば、±２．５μｍの仮想リフォーカス範囲では、Ｄｅｅｐ－Ｚ出力画像４０スタック（ｚ＝：０μｍで単一の入力画像を使用）は、テストされた最高のサンプル密度（約４ｘ１０^６μＬ^－１）でもグラウンドトゥルース（ＧＴ）の結果と厳密に一致する。一方で、より大きな仮想リフォーカス距離では、Ｄｅｅｐ－Ｚは蛍光ビーズのカウントが幾分か不足する（例えば、図２３Ｃ～２２Ｅを参照）。これはまた、前に報告した分析結果（例えば、図２１Ａ、２１Ｂ、２２Ａ～２２Ｄ）とも一致しており、サンプル中のビーズ密度が増加すると、軸方向のオクルージョンが発生し、Ｄｅｅｐ－Ｚの仮想リフォーカスの忠実度に部分的に影響が生じる。

［００２１１］本明細書に提示されたこれらの例では、トレーニング画像データは、Ｄｅｅｐ－Ｚネットワーク１０にとって不利となる、テストデータに存在する粒子の信号強度の強い変動または軸方向のオクルージョンを含んでいなかった。しかしながら、正しいタイプのサンプル１２（テストサンプル１２のタイプとその３Ｄ構造に一致）でトレーニングされたＤｅｅｐ－Ｚネットワーク１０では、トレーニング画像が自然に関連する３Ｄ構造を含み、テストサンプルで予想される特徴分布をより適切に表すので、ブラインド推論と仮想リフォーカスのパフォーマンスのタスクが容易になる。

［００２１２］Ｄｅｅｐ－Ｚによる光損傷の低減
［００２１３］Ｄｅｅｐ－Ｚネットワーク１０の別の利点は、サンプル１２への光損傷の減少である。光損傷は、生細胞イメージングにおける蛍光顕微鏡のアプリケーションにおいて困難なトレードオフをもたらし、これは、例えば縦断実験において取得できる画像数に実際上の制限を課す。光退色および／または光毒性などの光損傷の特定の性質は、サンプルのｐＨおよび酸素レベル、温度、蛍光体の密度や光安定性などの他の多くの要因の中でも、照明波長、ビームプロファイル、露光時間に依存する。照明設計のいくつかの戦略が、光損傷の影響を減らすために実証されている。例えば、露光制御顕微鏡（controlled light exposure microscopy：ＣＬＥＭ）や予測焦点照明のように標本に照射される照明強度を調整したり、選択的平面照明顕微鏡のように励起経路と放出経路を分離することがある。

［００２１４］軸方向の画像スタックを取得する広視野蛍光顕微鏡実験の場合、照明は、対物レンズの焦点面で画像化される位置に拘わらず、標本１２の厚さ全体にわたって蛍光体を励起する。例えば、サンプルの厚さが励起ビームの焦点ボリュームに比べて比較的薄いと仮定すると、サンプルボリューム全体が各軸方向画像取得ステップで均一に出てくる。これは、サンプルボリューム内の特定のポイントの総露光量が、ｚスタックのシングルパスで取得されるイメージングプレーンの数（Ｎ_ｚ）に副次的に比例することを意味する。対照的に、Ｄｅｅｐ－Ｚシステム２は、軸方向のトレーニング範囲がサンプルの深さをカバーしている場合、単一の画像取得ステップしか必要としない。サンプルが厚い場合や高密度である場合、図２０Ｈに示すように、Ｄｅｅｐ－Ｚ推論の改善のために１より多い入力画像を必要とする可能性がある。この場合、２つの入力画像を用いると、線虫の頭部領域のニューロン核をより適切に分解できた。したがって、Ｄｅｅｐ－Ｚによって可能になる、サンプルボリューム内で画像化する必要のある軸方向の平面数を減らすことは、サンプルへの光損傷を減らすのに直接役立つ。

［００２１５］この利点をさらに説明するために、蛍光ビーズ（直径３００ｎｍ、ＰｒｏＬｏｎｇ Ｇｏｌｄ退色防止封入剤に埋め込まれた）を含むサンプルを、深さ２０μｍの範囲（０．５μｍステップサイズ）にＮ_ｚ＝４１の軸方向平面で１８０回の繰り返しサイクルで３Ｄイメージングする追加の実験を行った。合計で約３０分かかった。ナノビーズの平均蛍光信号は、イメージングサイクルの終わりに元の値の約８０％まで減衰した（図２４Ａを参照）。比較すると、同様の仮想画像スタックを生成するために、Ｄｅｅｐ－Ｚシステム２は単一の入力画像２０を取得するだけでよく、１８０回の繰り返しサイクルの合計イメージング時間は約１５秒となり、Ｄｅｅｐ－Ｚで生成された仮想画像スタックの平均蛍光信号は、同じ数の画像化サイクルの間に目に見える減衰を示さない（図２４Ｂを参照）。専用の退色防止封入剤を使用しない可能性がある生サンプルのイメージングでは、蛍光信号の減衰は、光損傷と光退色により、図２４Ａと比較してより急激になると考えられるが、Ｄｅｅｐ－Ｚを使用すると、特に縦方向のイメージング実験中に、これらの悪影響を大幅に減らすことができる。

［００２１６］Ｄｅｅｐ－Ｚネットワーク１０をライトシート顕微鏡へ適用すると、間にＤｅｅｐ－Ｚの３Ｄ推論を用いて２つの連続するライトシート間の軸方向分離を増加させることにより、サンプル１２内のイメージング平面の数を減らすために使用できる。一般に、Ｎ_ｚの削減は、軸方向スキャン中に必要なハードウェアとソフトウェアの同期時間を考慮すると、光損傷の影響を減らすのに役立つが、例えばアークバーナーが照明源として使用される場合、追加の時間オーバーヘッドが発生する。この照明のオーバーヘッドは、オン／オフ遷移時間がはるかに速いＬＥＤを照明に使用するとほとんど排除できる。Ｄｅｅｐ－Ｚシステム２は、蛍光顕微鏡における標準的な光損傷のトレードオフを実質的に回避し、設定された特定の光損傷しきい値に対して照明強度を増加させ、Ｄｅｅｐ－Ｚを用いて取得された画像の軸方向の数を減らすことで相殺できるため、高速でのイメージングやＳＮＲの向上を可能にする。以下の文献（および補足情報）は、参照により本明細書に組み込まれる：Ｗｕ，Ｙら、Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning, Nat Methods 16, 1323-1331 (2019) doi:10.1038/s41592-019-0622-5。

［００２１７］本発明の実施形態を図示、説明したが、本発明の範囲から逸脱することなく、様々な修正を行うことができる。したがって、本発明は、添付の特許請求の範囲およびそれらの同等物を除いて、限定されるべきではない。

Claims (52)

1. 蛍光顕微鏡方法において、
   １以上のプロセッサを使用してソフトウェアによって実行される訓練済みの深層ニューラルネットワークを提供するステップと、
   前記訓練された深層ニューラルネットワークに、サンプルの少なくとも１つの２次元蛍光顕微鏡入力画像を入力するステップであって、前記少なくとも１つの入力画像には、ピクセルごとに、前記入力画像の平面からの前記サンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列（ＤＰＭ）が付加されている、ステップと、
   前記訓練された深層ニューラルネットワークから前記サンプルの少なくとも１つの蛍光出力画像を出力するステップであって、この画像は、前記ＤＰＭによって規定された前記ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている、ステップとを含むことを特徴とする方法。
2. 前記訓練された深層ニューラルネットワークからの複数のＤＰＭを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルのボリューム画像を作成する、請求項１に記載の方法。
3. 前記訓練された深層ニューラルネットワークからの複数のＤＰＭを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの拡張被写界深度（ＥＤＯＦ）画像を作成する、請求項１に記載の方法。
4. 前記訓練された深層ニューラルネットワークからの少なくとも１つのＤＰＭを用いた少なくとも１つの蛍光出力画像を用いて、前記サンプルのフォーカス改善画像を作成する、請求項１に記載の方法。
5. 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、任意のユーザ定義または自動生成された３Ｄ表面上に前記サンプルの画像を作成する、請求項１に記載の方法。
6. 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記入力画像の取得に用いた顕微鏡の被写界深度を拡張する、請求項１に記載の方法。
7. 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームへの光子線量または露光の低減が可能である、請求項１に記載の方法。
8. 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームの光退色の低減が可能である、請求項１に記載の方法。
9. サンプルの２次元蛍光顕微鏡入力画像の時間シーケンスが、前記訓練された深層ニューラルネットワークに入力され、ここで各画像には、ピクセルごとに、前記入力画像の平面から前記サンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列（ＤＰＭ）が付加されており、前記サンプルの蛍光出力画像の時間シーケンスが前記訓練された深層ニューラルネットワークから出力され、これは前記入力画像のＤＰＭに応じて前記ユーザ定義または自動生成された表面にデジタル伝播されている、請求項１に記載の方法。
10. 前記訓練された深層ニューラルネットワークからの蛍光出力画像の時間シーケンスのうちの１つまたは複数が組み合わされて、サンプルボリュームのタイムラプスビデオを作成する、請求項９に記載の方法。
11. 前記訓練された深層ニューラルネットワークからの蛍光出力画像の時間シーケンスのうちの１つまたは複数が組み合わされて、任意のユーザ定義または自動生成された３Ｄ表面上の前記サンプルのタイムラプスビデオを作成する、請求項９に記載の方法。
12. 前記サンプルの２次元蛍光顕微鏡入力画像の時間シーケンスは、カメラでストリームまたはビデオモードを使用するカメラで取得され、前記サンプルの蛍光出力画像の時間シーケンスは、前記２次元蛍光顕微鏡入力画像と比較して同じか改善されたフレームレートを有する、請求項９に記載の方法。
13. 前記ユーザ定義または自動生成された表面は、前記サンプル内に位置する平面、曲面、任意の表面、または軸方向深度範囲を含む、請求項１～１２のいずれか一項に記載の方法。
14. 前記サンプルは、生体、固定生物、生細胞、固定細胞、生組織、固定組織、病理学的スライド、生検、液体、体液、または他の微細オブジェクトのうちの少なくとも１つを含む、請求項１～１２のいずれか一項に記載の方法。
15. 少なくとも１つの入力画像が、空間的に操作された点像分布関数（spatially engineered point spread function）を用いて取得される、請求項１～１２のいずれか一項に記載の方法。
16. 前記訓練された深層ニューラルネットワークは、（１）異なる深度で軸方向に集束され、異なるＤＰＭが付加された複数の蛍光画像と、（２）対応するＤＰＭによって定義された正しい／ターゲット焦点深度でキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致する対を用いて、敵対的生成ネットワーク（ＧＡＮ）で訓練される、請求項１～１２のいずれか一項に記載の方法。
17. 前記１以上のユーザ定義または自動生成された表面はそれぞれ２次元平面を規定している、請求項１～１２のいずれか一項に記載の方法。
18. 前記１以上のユーザ定義または自動生成された表面はそれぞれ傾斜面または曲面を規定している、請求項１～１２のいずれか一項に記載の方法。
19. 前記１以上のユーザ定義または自動生成された表面はそれぞれ任意の３次元表面を規定している、請求項１～１２のいずれか一項に記載の方法。
20. 前記ＤＰＭが空間的に均一である、請求項１～１２のいずれか一項に記載の方法。
21. 前記ＤＰＭが空間的に不均一である、請求項１～１２のいずれか一項に記載の方法。
22. 前記入力画像は、グラウンドトゥルース画像と同じか実質的に同様の開口数および解像度を有する、請求項１～１２のいずれか一項に記載の方法。
23. 前記入力画像は、グラウンドトゥルース画像と比較して、開口数が少なく、解像度が低く、前記訓練された深層ニューラルネットワークは、蛍光入力画像の仮想リフォーカスと超解像の両方を学習し実行する、請求項１～１２のいずれか一項に記載の方法。
24. 超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いる共焦点顕微鏡、第二高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡のいずれかの種類の顕微鏡を使用して、前記訓練された深層ニューラルネットワークへの入力画像が取得される、および／または、前記訓練された深層ニューラルネットワークが訓練される、請求項１～１２のいずれか一項に記載の方法。
25. 前記２次元顕微鏡入力画像は第１のタイプの蛍光顕微鏡モダリティで得られ、前記蛍光出力画像は第２のタイプの蛍光顕微鏡モダリティで得られた同じサンプルの蛍光顕微鏡画像に類似し、実質的に同等である、請求項１～１２のいずれか一項に記載の方法。
26. 前記サンプルの２次元蛍光顕微鏡入力画像が広視野画像を含み、前記蛍光出力画像が同じサンプルの共焦点顕微鏡画像に類似し、実質的に同等である、請求項１～１２のいずれか一項に記載の方法。
27. 前記訓練された深層ニューラルネットワークが、（１）異なる深度で軸方向に集束され、異なるＤＰＭが付加された第１の顕微鏡モダリティの複数の蛍光画像と、（２）対応するＤＰＭによって定義された正しい／ターゲットの焦点深度で第２の異なる顕微鏡モダリティでキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致するペアを用いて敵対的生成ネットワーク（ＧＡＮ）で訓練される、請求項１～１２のいずれか一項に記載の方法
28. 前記第１の顕微鏡モダリティが広視野蛍光顕微鏡モダリティを含み、前記第２の異なる顕微鏡モダリティが、超解像顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いた共焦点顕微鏡、第２高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡、のいずれかタイプの顕微鏡を含む、請求項２７に記載の方法。
29. 前記少なくとも１つの２次元蛍光顕微鏡入力画像が、操作された点像分布関数（engineered point spread function）を含む蛍光顕微鏡によって得られる、請求項１～１２のいずれか一項に記載の方法。
30. 前記サンプル内の異なる軸方向平面または表面で取得された２以上の入力画像が、少なくとも前記サンプルの１つの蛍光出力画像を出力するように訓練された別個の訓練された深層ニューラルネットワークに同時に入力され、この出力画像は、前記入力画像とともに同じ深層ニューラルネットワークに入力される前記ＤＰＭによって定義された、ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている、請求項１～１２のいずれか一項に記載の方法。
31. 画像処理ソフトウェアが実行されるコンピューティングデバイスを含む蛍光顕微鏡画像を出力するためのシステムであって、前記画像処理ソフトウェアは、前記コンピューティングデバイスの１以上のプロセッサを用いて実行される訓練された深層ニューラルネットワークを含み、前記訓練された深層ニューラルネットワークは、（１）異なる深度で軸方向に焦点が合い、ピクセルごとに、それぞれユーザ定義または自動生成された表面の軸方向距離を表す異なるデジタル伝播マトリックス（ＤＰＭ）が付加された複数の蛍光画像と、（２）対応するＤＰＭによって定義された正しい／ターゲット焦点深度でキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致したペアを用いて訓練され、前記画像処理ソフトウェアは、対応するＤＰＭが付加された１以上の２次元蛍光顕微鏡入力を受信し、前記深層ニューラルネットワークから前記サンプルの１以上の蛍光出力画像であって前記付加されたＤＰＭによって定義された１以上のユーザ定義または自動生成された表面にデジタル伝播された画像を出力するように構成されていることを特徴とするシステム。
32. 前記訓練された深層ニューラルネットワークからの複数のＤＰＭを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの拡張被写界深度（ＥＤＯＦ）画像を作成する、請求項３１に記載のシステム。
33. 前記訓練された深層ニューラルネットワークからの少なくとも１つのＤＰＭを使用する少なくとも１つの蛍光出力画像を用いて、前記サンプルのフォーカス改善画像を作成する、請求項３１に記載のシステム。
34. 前記コンピューティングデバイスは、パーソナルコンピュータ、ラップトップ、タブレット、サーバ、ＡＳＩＣ、または１以上のグラフィックスプロセッシングユニット（ＧＰＵ）のうちの少なくとも１つを含む、請求項３１に記載のシステム。
35. 前記入力画像が、グラウンドトゥルース画像と同じか実質的に同様の開口数および解像度を有する、請求項３１に記載のシステム。
36. 前記入力画像は、グラウンドトゥルース画像と比較して、開口数が少なく、解像度が低く、前記訓練された深層ニューラルネットワークは、蛍光入力画像の仮想リフォーカスおよび超解像の両方を学習し実行する、請求項３１に記載のシステム。
37. 深層ニューラルネットワークを訓練するために使用される入力画像は、超解像度顕微鏡、共焦点顕微鏡、単一光子または多焦点顕微鏡光子励起蛍光、二次高調波または高高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡、のタイプの顕微鏡のうちの１つを使用することによって得られる、請求項３１に記載のシステム。
38. 前記深層ニューラルネットワークが均一なＤＰＭを用いて訓練され、前記１以上のユーザ定義または自動生成された表面が１以上の任意の３次元表面を含む、請求項３１に記載のシステム。
39. 前記訓練されたニューラルネットワークの出力蛍光画像がデジタル的に組み合わされて、前記サンプルの３次元ボリューム画像および／またはタイムラプスビデオを作成する、請求項３１に記載のシステム。
40. 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの任意のユーザ定義または自動生成された３Ｄ表面上の画像および／またはタイムラプスビデオを作成する、請求項３１に記載のシステム。
41. 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記入力画像を出力するのに用いられた顕微鏡の被写界深度を拡張する、請求項３１に記載のシステム。
42. 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームへの光子線量または露光の低減が可能である、請求項３１に記載のシステム。
43. 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームの光退色の低減が可能である、請求項３１に記載のシステム。
44. 前記少なくとも１つの入力画像は、空間的に操作された点像分布関数（ＰＳＦ）を用いて取得される、請求項３１に記載のシステム。
45. 前記画像処理ソフトウェアが、それぞれが少なくとも１つの対応するＤＰＭが付加された前記サンプルの蛍光顕微鏡入力画像の時間シーケンスを受信し、前記訓練された深層ニューラルネットワークから、前記入力画像の付加されたＤＰＭによって定義されたユーザ定義または自動生成された表面にデジタル伝播された前記サンプルの蛍光出力画像の時間シーケンスを出力するように構成されている、請求項３１に記載のシステム。
46. 前記ユーザ定義または自動生成された表面が２次元表面を含む、請求項４５に記載のシステム。
47. 前記ユーザ定義または自動生成された表面が、任意の３次元表面またはボリュームを含む、請求項４５に記載のシステム。
48. 前記１以上の蛍光出力画像をマージして、前記サンプルのタイムラプスボリュームビデオを形成する、請求項３１に記載のシステム。
49. 前記サンプルの１以上の蛍光顕微鏡入力画像を取得するように構成された蛍光顕微鏡をさらに具える、請求項３１に記載のシステム。
50. 前記蛍光顕微鏡が、３Ｄに操作された点像分布関数を作成するための、光路に沿って配置された位相および／または振幅マスクをさらに含む、請求項４９に記載のシステム。
51. 空間的に操作された点像分布関数が二重らせん点像分布関数を含む、請求項４４に記載のシステム。
52. 前記蛍光顕微鏡が、ライトシートベースの顕微鏡システムを含む、請求項４９に記載のシステム。

Images