JP2022507259A - ホログラフィック顕微鏡画像を様々なモダリティの顕微鏡画像に変換するためのシステムおよび方法 - Google Patents

Abstract

トレーニングされた深層ニューラルネットワークが、ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で取得した顕微鏡画像に実質的に類似した画像に変換する。異なる画像モダリティの例には、明視野、蛍光、および暗視野が含まれる。明視野アプリケーションの場合、深層学習により、サンプルのホログラフィック画像に明視野顕微鏡コントラストが与えられ、ホログラフィのボリュームイメージング機能と、明視野顕微鏡のスペックルやアーチファクトのない画像コントラストとなる。ホログラフィック顕微鏡で得られたホログラフィック顕微鏡画像は、トレーニングされた深層ニューラルネットワークに入力され、サンプルボリューム内の特定の深度に対応するデジタル逆伝播ホログラムから、異なる顕微鏡画像モダリティを有する顕微鏡を使用して同じ特定の深度で得られたサンプルの顕微鏡画像に実質的に類似する画像へのクロスモダリティ画像変換を実行する。【選択図】図１Ａ

Description

［０００１］この出願は、２０１８年１１月１５日に出願され米国仮特許出願第６２／７６８，０４０号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。優先権は３５Ｕ．Ｓ．Ｃ§１１９およびその他の該当する法令に従って主張される。

米国連邦政府後援の研究開発に関する声明
［０００２］本発明は、国立科学財団によって授与された助成番号１５３３９８３の下で政府の支援を受けて行われた。米国政府は、本発明において一定の権利を有する。

［０００３］技術分野は、一般に、ホログラフィック画像を、例えばインコヒーレント明視野、蛍光、および暗視野の顕微鏡画像を含む他の顕微鏡画像モダリティを使用して得られるものに類似した画像へと変換する方法およびシステムに関する。

［０００４］デジタルホログラフィック顕微鏡によると、機械的なスキャンを行うことなく、１回のホログラム測定からボリュームサンプルの再構成が可能である。しかしながら、ほとんどの実用的なアプリケーションにおいて、ホログラフィック画像は、インコヒーレント明視野顕微鏡のスペックルやアーチファクトのない画像コントラストに匹敵するものではない。これらのホログラフィックアーチファクトの一部には、双像（twin-image）ノイズや自己干渉ノイズが含まれる。これらは位相情報の欠落に関連するが、照明源のコヒーレンス長／直径が長いために、光ビーム経路内のフォーカス外または不要なオブジェクト／表面からのスペックルや背景干渉が発生し、更なるアーチファクトが現れる。言い換えれば、コヒーレント撮像システムの点広がり関数には横方向と軸方向の両方に沿って減少しないリップルがあるため、焦点が合っていないオブジェクトが、ホログラフィック再構成において焦点が合ったオブジェクトと重なる干渉縞を生じ、ボリュームサンプルを再構成するときの画像のコントラストを低下させる。これらの問題は、様々なホログラフィック再構成方法を使用して、時には追加の手段を用いて、部分的に軽減することができる。しかしながら、追加の手段や複雑な再構成アルゴリズムを必要とせずに、ホログラフィック顕微鏡で取得した画像の画質と有用性を向上させるための追加の方法とシステムが必要である。

［０００５］一実施形態では、コンピューティングデバイスを使用してソフトウェアによって実行されるトレーニングされた深層ニューラルネットワークを使用して、サンプルボリューム内の所定の深度に対応するデジタル逆伝播ホログラム（または生のホログラム）から、同じ深度で取得された異なる顕微鏡画像モダリティに実質的に類似した画像への、クロスモダリティ画像変換を実行するシステムおよび方法が記載される。一実施形態では、異なる顕微鏡画像モダリティは、明視野、蛍光、および暗視野顕微鏡画像のうちの１つである。単一のホログラムを使用して、サンプルボリューム内の異なるセクションまたは平面（例えば、高さ）にデジタル伝播し、各セクションの異なる顕微鏡画像モダリティの画像に実質的に類似した画像を仮想的に生成するため、このアプローチはデジタルホログラフィのボリュームイメージング機能と、明視野顕微鏡（あるいは他の実施形態では蛍光顕微鏡または暗視野顕微鏡）のスペックルおよびアーチファクトのない画像コントラストを橋渡しする。トレーニング後、深層ニューラルネットワークは、ホログラフィックイメージングシステムと所望の異なる顕微鏡画像モダリティ（例えば、特定の一実施形態ではインコヒーレント明視野顕微鏡）との間の統計的画像変換を学習する。この点において、深層学習は、ホログラフィックとインコヒーレント明視野画像化モダリティの利点を融合することにより、両方の世界の長所を融合させる。

［０００６］ホログラフィックまたはコヒーレント顕微鏡で取得したホログラフィック顕微鏡画像が、トレーニングされた深層ニューラルネットワークに入力され、サンプルボリューム内の特定の深度に対応するデジタル逆伝播ホログラムから、異なる顕微鏡画像モダリティで同じ深度で取得された画像に実質的に似た画像へのクロスモダリティ画像変換が実行される。本発明の好ましい一態様では、異なる顕微鏡画像モダリティは明視野顕微鏡画像である。ホログラフィと明視野顕微鏡の間のこの深層学習対応の画像変換により、ボリュームサンプルを機械的にスキャンする必要がなくなる。さらに、ホログラフィック顕微鏡で取得された単一のモノクロ画像を、トレーニングされた深層ニューラルネットワークを使用して、同等の明視野画像と実質的に同じ色分布を有するカラー画像に変換することができる。

［０００７］一実施形態では、ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティで取得した画像に実質的に類似する画像に変換する方法は、ホログラフィック顕微鏡でサンプルの単一のホログラフィック画像を取得するステップを含む。サンプルのホログラフィック画像は、画像処理ソフトウェアを使用して特定の深度までデジタル逆伝播される。逆伝播されたホログラフィック画像は、１つまたは複数のプロセッサを使用してコンピューティングデバイスで実行されるソフトウェアで具現化された、トレーニングされた深層ニューラルネットワークに入力される。トレーニングされた深層ニューラルネットワークは、特定の深度でのサンプルの画像を出力する。この出力画像は、一実施形態では、同じ特定の深度で取得されたサンプルの明視野顕微鏡画像に実質的に類似する。別の実施形態では、トレーニングされた深層ニューラルネットワークは、特定の深度でサンプルの画像を出力し、この出力画像は同じ特定の深度で得られたサンプルの蛍光顕微鏡画像に実質的に類似する。別の実施形態では、トレーニングされた深層ニューラルネットワークは、特定の深度でサンプルの画像を出力し、この出力画像は同じ特定の深度で得られたサンプルの暗視野顕微鏡画像に実質的に類似する。

［０００８］別の実施形態では、ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で取得した顕微鏡画像に実質的に類似する画像に変換する方法は、ホログラフィック顕微鏡でサンプルの単一のホログラフィック画像を取得する操作を含む。サンプルの（逆伝播されていない）ホログラフィック画像は、コンピューティングデバイスによって実行されるトレーニングされた深層ニューラルネットワークに入力される。トレーニングされた深層ニューラルネットワークは、トレーニングされた深層ニューラルネットワークから特定の深度でのサンプルの画像を出力し、この出力画像は、異なる顕微鏡画像モダリティを有する顕微鏡を用いて同じ特定の深度で得られたサンプルの顕微鏡画像に実質的に類似する。

［０００９］別の実施形態では、顕微鏡システムは、ホログラフィック顕微鏡（または干渉アーチファクトをもたらすコヒーレント光源を使用する他の画像化モダリティ）と、トレーニングされた深層ニューラルネットワークを実行するように構成されたソフトウェアを有するコンピューティングデバイスとを具え、ホログラフィック顕微鏡（または他の画像化モダリティ）で取得されたサンプルの生および／または逆伝播ホログラム画像を入力し、サンプル内の任意の深度でサンプルの１つまたは複数の出力画像を出力し、この１つまたは複数の出力画像は、サンプル内の同じ任意の深度で取得されたサンプルの明視野顕微鏡画像に実質的に類似する。

［００１０］図１Ａは、一実施形態による、ホログラフィックまたはコヒーレント顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で得られた１つまたは複数の深度（本明細書で説明するｚ方向）での出力画像に変換するために使用されるシステムを概略的に示す。 ［００１１］図１Ｂは、サンプルのホログラフィック画像を取得するために使用されるホログラフィック顕微鏡（例えば、この実施形態ではレンズレス）の一実施形態を概略的に示す。 ［００１２］図２は、ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で取得した顕微鏡画像に実質的に類似する画像に変換する方法の動作を示すフローチャートである。 ［００１３］図３は、一実施形態によるニューラルネットワーク構造の構造を示す。数字は各ブロックのサイズとチャンネルを表す。ＲｅＬＵは正規化線形ユニット（rectified linear unit）であり、Ｃｏｎｖは畳み込み層（convolutional layer）である。 ［００１４］図４は、一実施形態による、ニューラルネットワークをトレーニングするために使用される画像の位置合わせ（registration）およびデータ前処理のフローチャートである。このプロセスは、異なる平面での明視野画像ペアを、深層ニューラルネットワークのトレーニングに使用されるホログラフィック顕微鏡で取得した逆伝播ホログラムと位置合わせするために使用される。 ［００１５］図５は、基板上に捕捉された花粉混合物の画像化プロセスを示す。各入力ホログラムまたはホログラフィック画像は、フリンジをよりよく示すために、より大きなＦＯＶで表示されている。各ネットワーク出力画像は、顕微鏡比較画像の横に示されている二乗平均平方根誤差（ＲＭＳＥ）、構造的類似性指数（ＳＳＩＭ）、およびユニバーサル画質指数（ＵＩＱＩ）を使用して、対応する明視野顕微鏡のグラウンドトゥルース画像と定量的に比較される。 ［００１６］図６は、ＧＡＮおよびＣＮＮで実行されたサンプル再構成の画像を、グラウンドトゥルース画像とともに示す。画像は、二乗平均平方根誤差（ＲＭＳＥ）、ピアソン相関係数（Ｃｏｒｒ．）、構造的類似性指数（ＳＳＩＭ）、およびユニバーサル画質指数（ＵＩＱＩ）を使用して、同じ深度で取得された対応する顕微鏡画像のグラウンドトゥルースと比較される。各画像の各基準のより良い値が太字で強調表示されている。 ［００１７］図７Ａは、ＰＤＭＳ３Ｄ基板（厚さ約８００μｍ）に含まれる花粉混合物を概略的に示す。 ［００１８］図７Ｂは、ＰＤＭＳ３Ｄ基板に含まれる花粉混合物の写真画像である。 ［００１９］図７Ｃは、ホログラフィック顕微鏡で撮影したＰＤＭＳ基板のホログラフィック画像を示す。 ［００２０］図７Ｄは、ネットワーク出力を生成するトレーニングされた深層ニューラルネットワークに入力される、異なる距離（ｚ）での様々な逆伝播（back-propagated：ＢＰ）ホログラフィック画像を示す。対応するネットワーク出力画像とともに対応する顕微鏡画像も示されている。 ［００２１］図８は、花粉ボリュームサンプルについての、明視野ホログラフィと反復相回復法との比較を示している。オブジェクトサポートベースの相回復が用いられた（反復２０回）。ネットワーク出力画像と明視野顕微鏡のグラウンドトゥルース画像は、比較のためにＭａｔｌａｂ関数ｒｇｂ２ｇｒａｙを用いてグレースケールに変換されている。コントラスト対ノイズ比（ＣＮＲ）を、ノイズ（マスクの外の画素振幅の標準偏差）に対するコントラスト（ＣＮＲマスク外の画素振幅の平均からマスク内の画素振幅の平均を引いたもの）の比率として定義し、これを用いて結果を定量的に比較し、各画像の左上に対応するＣＮＲ値を数字で示した。 ［００２２］図９Ａは、単一のマイクロビーズの３Ｄイメージングと、ネットワーク出力に対する標準ホログラフィック逆伝播結果と、軸方向ステップサイズ０．５μｍのＮ＝８１スキャンを介して走査明視野顕微鏡でキャプチャした画像との比較を示す。 ［００２３］図９Ｂは、２４５個の個別／単離マイクロビーズに対応する横方向のＰＳＦ ＦＷＨＭヒストグラム比較を示す。 ［００２４］図９Ｃは、２４５個の個別／単離マイクロビーズに対応する軸方向のＰＳＦ ＦＷＨＭヒストグラム比較を示す。

［００２５］図１Ａは、ホログラフィックまたはコヒーレント顕微鏡１６で得られたサンプル１４の画像１２を、異なる顕微鏡画像モダリティを有する顕微鏡で得られた顕微鏡画像に実質的に類似する、１つまたは複数の深度（本明細書で説明するｚ方向）の出力画像２０に変換するために使用されるシステム１０の一実施形態を概略的に示す。例えば、システム１０は、ホログラフィック顕微鏡１６で得られたサンプル１４の画像１２を、サンプル１４の同じ１つ以上の深度での明視野画像に実質的に類似する（１つ以上の深度での）出力画像２０に変換するために使用することができる。さらに別の例では、システム１０を使用して、ホログラフィック顕微鏡１６で取得したサンプル１４の画像１２を、サンプル１４の同じ１つ以上の深度での蛍光画像に実質的に類似する（１つ以上の深度での）出力画像２０に変換することができる。さらに別の例では、システム１０を使用して、ホログラフィック顕微鏡１６で取得したサンプル１４の画像１２を、サンプル１４の同じ１つ以上の深度での暗視野画像に実質的に類似する出力画像２０（１つ以上の深度）に変換することができる。本明細書で説明するように、システム１０は、単一の深度で出力画像２０を生成することができ、その場合にシステム１０は２次元（２Ｄ）画像を出力する。このシステム１０はまた、複数の深度で複数の出力画像２０を生成することができ、その場合にシステムは３次元（３Ｄ）画像スタックを出力する。

［００２６］図１Ａにおいて、ホログラフィック顕微鏡１６は、サンプル１４のホログラフィック画像１２（あるいは複数のそのような画像またはホログラム１２）を取得する。サンプル１４は、図１Ａおよび図１Ｂに示すようなサンプルホルダ１８上に配置することができるが、他の実施形態では、サンプルホルダ１８は省略されてもよい。サンプルホルダ１８は、光透過性の基板等を有し得る。サンプル１４は、組織、細胞、体液、環境液などの生物学的サンプルを含み得る。サンプル１４はまた、三次元サンプルボリューム（例えば、固体または流体ボリューム）を含み得る。本明細書に記載の実施例では、サンプル１４は、花粉や汚染物質などの粒子状物質を含み得る。サンプル１４は、有機または無機サンプルも含んでもよい。サンプル１４は、環境サンプル（例えば、生物または特定の物質を含む水または流体）を含み得る。サンプル１４は、キャリア媒体または流体に含まれる細胞を含み得る。サンプルは静止していても、動いていてもよい（例えば、マイクロチャネル、フローセルなどの中を流れる流体）。

［００２７］図１Ａにあるように、システム１０は、１つまたは複数のプロセッサ３４を使用して実行される画像処理ソフトウェア３２を有するコンピューティングデバイス３０を含む。画像処理ソフトウェア３２は、その一部として、本明細書に記載のトレーニングされたニューラルネットワーク３６を含む。コンピューティングデバイス３０は、例として、パーソナルコンピュータ、ラップトップ、タブレットＰＣ、ポータブル電子デバイス、サーバ、または仮想サーバを含み得る。コンピューティングデバイス３０は、ホログラフィック顕微鏡１６と一緒に、またはその近くにローカル配置することができる。ホログラフィック顕微鏡１６とコンピューティングデバイス３０との間の通信は、従来の有線または無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉなど）を介して生じ得る。コンピューティングデバイス３０は、ホログラフィック顕微鏡１６から遠隔の場所に配置してもよい。例えば、コンピューティングデバイス３０は、コンピュータネットワーク（例えば、インターネットなどの広域ネットワーク）上で転送されるホログラフィック画像１２を受信するサーバまたは他のクラウドタイプのコンピュータであり得る。画像処理ソフトウェア３２は、任意の数のプログラムで実装することができる。例には、Ｃ＋＋、Ｐｙｔｈｏｎ、Ｔｅｎｓｏｒｆｌｏｗ、ＭＡＴＬＡＢなどのプログラムまたはプログラミング言語が含まれる。いくつかの実施形態では、１つまたは複数のプロセッサ３４は、深層ニューラルネットワーク３６およびシステム１０の出力のトレーニングを高速化できるが、必須ではない１つまたは複数のグラフィックス処理ユニット（ＧＰＵ）を含み得る。トレーニングされたニューラルネットワーク３６の逆伝播および実行などの画像処理ソフトウェア３２の様々な態様は、同じソフトウェアプログラムまたはモジュールによって実行されてもよいし、一緒に動作する別個のプログラムまたはモジュールとして動作してもよい。さらに、コンピューティングデバイス３０は、様々な機能を実行するために、複数のコンピューティングデバイス３０またはコンピューティングモジュールを採用してもよい。例えば、１つのコンピューティングデバイス３０またはモジュールを使用してデジタル逆伝播を実行しつつ、別のコンピューティングデバイス３０またはモジュールを使用してトレーニング済みニューラルネットワーク３６を実行することができる。もちろん、これらは単一のコンピューティングデバイス３０またはモジュールによって実行してもよい。

［００２８］図１Ｂは、ホログラフィック顕微鏡１６の特定の実施例を示す。この実施例のホログラフィック顕微鏡１６はレンズを有さないが、ホログラフィック画像１２は、他の従来のレンズを有するホログラフィック顕微鏡１６で取得してもよいことを理解されたい。ホログラフィック顕微鏡１６は、いくつかの実施形態では、スマートフォンなどのポータブル電子デバイスを、サンプル１４のホログラフィック画像１２を取得するための光源、外部レンズ、取得するサンプルホルダを含むオプトメカニカルアタッチメントとともに使用するような、ポータブルまたはモバイルのホログラフィック顕微鏡１６を含み得る。いくつかの実施形態では、ホログラフィック顕微鏡１６は、流動する流体に含まれる流体または物体などの移動サンプル１４を撮像することができる。例えば、ホログラフィック顕微鏡１４は、フローサイトメトリホログラフィック顕微鏡またはマイクロ流体ベースのホログラフィック顕微鏡を含み得る。ホログラフィック顕微鏡１４を使用して、基板に衝突する粒子または物体を画像化することもできる。例えば、ガス流に混入した粒子または物体が基板に衝突し、基板上に保持され、その後、画像化されてもよい。これらのオブジェクトは、インパクターベースのホログラフィック顕微鏡を使用して画像化できる。システム１０はまた、他の実施形態では、ホログラフィック顕微鏡１６の代わりに、光ビーム経路内の焦点が合っていない物体または不要な物体とのスペックルまたは干渉をもたらすコヒーレント光を用いる別の画像化モダリティを具えてもよい。

［００２９］図１Ｂの実施形態において、光源４０は、コヒーレントまたは部分的にコヒーレントな照明を発する。これには、レーザダイオード、発光ダイオード、ＶＣＳＥＬダイオードなどが含まれる。光源４０は、数センチメートルの距離から試料１４を照明する。図１Ｂに示すように、試料１４は試料ホルダ１８上に配置される。イメージセンサ４２が、サンプル１４とサンプルホルダ１８の反対側に配置され、サンプル１４のホログラム（ホログラフィック画像）を取り込む。イメージセンサ４２は、例えば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等を含み得る。イメージセンサ４２は、サンプル１４のモノクロまたはカラー画像を取得することができる。イメージセンサ４２は、典型的には、サンプルホルダ１８に非常に近接して、または隣接して（例えば、数μｍから数ｍｍ以内に）配置される。図１Ｂは、サンプル１４の三次元ボリューム内に位置する様々な深度またはｚ距離（例えば、ｚ１、ｚ２、ｚ３）を示す。本明細書で説明するように、システム１０および方法を使用して、単一のホログラフィック画像１２またはショットから、サンプル１４内の任意の深度（ｚ）で、取得されたホログラフィック画像１２とは異なる画像化モダリティである出力画像２０を生成することができる。これは、例えば明視野、暗視野、および蛍光画像である１つまたは複数の出力画像２０を含み得る。

［００３０］図２は、システム１０の操作で用いられるステップまたは操作の例示的なワークフローを示す。まず、操作１００において、サンプル１４をホログラフィック顕微鏡１６を用いて画像化し、ホログラフィック画像１２を生成する。次に、操作１０２に示すように、ホログラフィック画像１２は、画像処理ソフトウェア３２を使用して、サンプル１４のボリューム空間内の１つ以上のｚ距離にデジタル逆伝播される。例えば、図１Ｂの文脈において、これはｚ１、ｚ２、およびｚ３であり得る。ホログラフィック画像１２のデジタル逆伝播は、例えば角度スペクトルに基づく逆伝播を含む任意の既知のデジタル逆伝播技手法を使用して達成することができる。角度スペクトル法は、波動場の伝播をモデル化する手法であり、複雑な波動場を無数の平面波の和に拡張することを含む。ホログラムは、最初に高速フーリエ変換（ＦＦＴ）を用いて空間周波数領域に変換される。次に、波長、伝搬距離、および媒質の屈折率の関数である位相係数が、角度スペクトルに乗算される。最後に、サンプルの逆伝播画像を得るために、空間領域に逆フーリエ変換される。

［００３１］別の実施形態では、ホログラフィック画像１２をデジタル逆伝播する操作１０２は省略するか回避して、操作１０４に示すように、ホログラフィック画像１２を、トレーニングされた深層ニューラルネットワーク３６に直接入力してもよい。すなわち、図２に挙げた操作の文脈において、いくつかの実施形態では操作１０２はオプションであり、生のホログラフィック画像１２またはホログラムが、トレーニングされた深層ニューラルネットワーク３６に直接入力される。

［００３２］デジタル逆伝播により、図２に示すように、特定のｚ距離に対して、実逆伝播画像１５ａと、仮想逆伝播画像１５ｂとが生成される。次に、操作１０４に示すように、逆伝播画像１５ａ、１５ｂは、画像処理ソフトウェア３２のトレーニングされた深層ニューラルネットワーク３６に入力される。次に、図２の操作１０６に示すように、トレーニングされた深層ニューラルネットワーク３６は、異なる顕微鏡画像モダリティを有する顕微鏡を用いて同じ特定の深度ｚで得られたサンプル１４の顕微鏡画像と実質的に類似または実質的に同等である、特定のｚ距離での出力画像２０を出力または生成する。例えば、出力画像２０は、明視野顕微鏡（明視野画像）、暗視野顕微鏡（暗視野画像）、または蛍光顕微鏡（蛍光画像）から同じｚ距離で得られた画像に実質的に類似しているか、または実質的に同等であり得る。別の実施形態では、出力画像２０は、異なる画像モダリティを有する顕微鏡で得られた生画像、逆伝播画像、および／またはグラウンドトゥルース画像の横方向および／または軸方向の解像度を超えた横方向および／または軸方向の解像度を有し得る。

［００３３］出力画像２０には、スペックルおよび他の干渉アーチファクトが実質的にない。この重要な利点は、サンプル１４から得られた単一のホログラフィック画像１２を使用して、サンプル１４内の任意の深度（ｚ）で強化された出力画像２０（例えば、明視野顕微鏡画像、暗視野顕微鏡画像、または蛍光画像と類似の）を生成できることである。つまり、単一のホログラフィック画像１２を使用して、サンプル１４内の任意の数の深度（ｚ）における完全に異なる画像化モダリティに類似するサンプル１４の複数の異なる疑似画像２０を得ることができる。さらに、サンプル１４のホログラフィック画像１２は、一実施形態ではモノクロの画像センサ４２を使用して取得されるが、いくつかの実施形態では、トレーニングされた深層ニューラルネットワーク３６によって生成される出力画像（複数可）２０はカラー画像となる。すなわち、モノクロの画像センサ４２を使用して得られたホログラフィック画像１２から、適切にトレーニングされたニューラルネットワーク３６を使用して、カラーの出力画像２０（例えば、カラーの明視野画像）を生成することができる。

［００３４］従来の画像化プロセスでは、高価な光学顕微鏡を使用して、様々な高さで時間のかかる多数のスキャンを実行し、画像スライスごとに機械的スキャンを実行する必要があった。例えば、従来の光学顕微鏡を使用すると、単一のＦＯＶでＮ＝８１のスライススタックを生成するのに約１分かかり得る。対照的に、デジタルホログラフィックレンズレス顕微鏡１６は安価であり、単一（Ｎ＝１）のホログラフィック画像１２をキャプチャするだけで済み、これがトレーニングされたニューラルネットワーク３６の助けを借りて任意のｚ距離に逆伝播され、再構成された同等の品質の出力イメージ２０が生成される。

［００３５］システム１０は、トレーニングされた深層ニューラルネットワーク３６を使用して、サンプル１４のボリューム内の所定の深度（ｚ）に対応するデジタル逆伝播ホログラム（１５ａ、１５ｂ）から、異なる画像化モダリティを使用して同じ深度で取得された顕微鏡画像と実質的に類似するか実質的に同等である出力画像２０へのクロスモダリティ画像変換を実行する。単一のホログラフィック画像１２を使用して、画像情報をサンプル１４の異なるセクションにデジタル伝播させて、一実施形態では各セクションの疑似明視野画像２０を仮想的に生成するため、このアプローチにより、デジタルホログラフィのスナップショットボリュームイメージング能力と、明視野顕微鏡法のスペックルおよびアーチファクトのない画像コントラストおよび軸方向のセクショニング性能とが組み合わされる。トレーニング後に、深層ニューラルネットワーク３６は、ホログラフィック顕微鏡１６と異なる画像化モダリティ（例えば、明視野顕微鏡）との間の統計的画像変換を学習した。ある意味で、深層学習は、ホログラフィックとインコヒーレント明視野画像化モダリティの両方の利点を融合することにより、両方の世界の長所を結び付ける。

［００３６］実験
［００３７］ホログラフィック顕微鏡１６で得られたホログラフィック画像１２を擬似明視野画像２０に変換する実験が行われた。ホログラフィックから明視野画像への変換のために、トレーニングされた深層ニューラルネットワーク３６は、敵対的生成器ネットワーク（ＧＡＮ）を使用した。図３は、ＧＡＮ３６のネットワーク構造を示す。深層ニューラルネットワーク３６のトレーニングデータセットは、粘着性のカバースリップを使用して平らな基板上にキャプチャされた花粉サンプル１４からの画像で構成された。カバースリップは、明視野顕微鏡（オリンパスＩＸ８３、２０×／０．７５ＮＡ対物レンズ）を使用して３Ｄスキャンされ、０．５μｍの軸間隔で１２１枚の画像のスタックがキャプチャされ、対象領域ごとにグラウンドトゥルースラベルが構成された。次に、レンズレスホログラフィック顕微鏡１６を使用して、明視野顕微鏡で走査したのと同じ視野（ＦＯＶ）に対応するインラインホログラフィック画像１２を取得した。グローバル座標から各画像パッチのローカル座標への一連の画像位置合わせステップ（例えば、図４に見られるようなグローバルおよびローカル位置合わせプロセス）を段階的に適用することにより、異なる深度での逆伝播ホログラフィック画像１５ａ、１５ｂを、横方向と軸方向の両方で、明視野顕微鏡のグラウンドトゥルース画像スタックに正確に一致させた。図４は、異なる深度／平面においてグラウンドトゥルース画像をホログラフィック画像１２と位置合わせするために使用される画像位置合わせおよびデータ前処理を示す。逆伝播ホログラム画像１５ａ、１５ｂと対応する明視野顕微鏡画像のこれらの位置合わせされたペアは、次に、深層ニューラルネットワーク３６のトレーニングのために、２５６×２５６ピクセルの約６，０００パッチにトリミングされた。

［００３８］図４は、サンプル１４の大型またはフルＦＯＶホログラフィック画像１２が、陰影補正操作１１０の後にオートフォーカス操作１１２を受けるプロセスを示す。陰影補正は、画像の汚れや不要なパターンを除去する。操作１１４では、トリミングされたホログラムＦＯＶが作成される。操作１１６に示すように、このトリミングされたホログラムＦＯＶから、より小さなＦＯＶ（３００×３００ピクセル）を有するホログラムが生成される。操作１１８でオートフォーカス操作が実行され、最も焦点の合った平面で小さなＦＯＶを有するホログラムが生成される。最も焦点の合った平面に加えて、操作１２０（図２）で説明した本書記載のデジタル逆伝播１０２を使用して、異なるｚ距離またはグラウンドトゥルースの選択されたｚ距離に対応する平面で、複数（この場合は５つ）の追加のホログラムまたはホログラフィック画像（ホログラムｚスタック）が生成される、（図４の操作１４０）。トレーニングのために、異なるｚ距離または平面でのグラウンドトゥルース（例えば、明視野）画像５０がサンプル１４から取得される。次に、操作１２２に示すように、中間平面ＦＯＶ画像５０をつなぎ合わせて、フルＦＯＶ明視野画像を生成する。次に、操作１２４において、画像の傾き、回転、またはシフトを補正するために画像を再スケーリングする変換行列が生成される。操作１２６では、中央平面ＦＯＶ画像５０が陰影補正を受ける。操作１２４で生成された変換行列は、操作１２８で見られる変換された明視野ＦＯＶ画像を生成するために使用される。次に、操作１３０に示すように、変換された明視野ＦＯＶ画像５０および操作１１２のオートフォーカスされたフルＦＯＶホログラム内の重なり合った領域が切り出される。操作１３２に示すように、この切り出されたＢＦ ＦＯＶから、小さいＦＯＶ（３００×３００ピクセル）の画像が生成される。

［００３９］図４をさらに参照すると、画像スタックの他の明視野画像５０は、操作１３４に示すように陰影補正操作を受ける。これらの明視野（ＢＦ）画像は、操作１３６に示すように、小さなＦＯＶ画像のＢＦスタックを作成するためにトリミングされる。操作１３８に示すように、ＢＦの小さいＦＯＶの最も焦点の合った平面を見つけるためにオートフォーカス操作が実行される。次に、操作１４０において、他のランダム平面（この実施形態では５つ）における画像のＢＦスタックが、ｚ方向のガウスサンプリングを使用して選択され、ｘおよびｙ方向に整列される。操作１４２に示すピラミッド弾性位置合わせプロセスが実行され、合計６つの小さなＦＯＶ画像ペアが生成される。位置合わせされた各画像ペアには、対応するデジタル逆伝播画像と共にグラウンドトゥルースＢＦ画像が含まれる。最後の操作では、位置合わせされた画像対が操作１４４に示すようにトリミングされ、６つの小さいＦＯＶ画像のペア（２５６×２５６）が作成される。これらの位置合わせされた画像ペアは、深層ニューラルネットワーク３６をトレーニングするために使用される。

［００４０］図４は、顕微鏡で得られた明視野画像と対応する逆伝播ホログラム画像の画像ペアを同じ深度でグローバルおよびローカルに位置合わせするために使用される様々な態様を示しているが、サンプル画像が特にきれいであったり、汚れ、ほこり、その他のアーチファクトがなく、または傾斜、回転などがない場合には、これらの操作の１つまたは複数を省略することができる（例えば、陰影補正、変換行列の適用など）。

［００４１］これらのステップは、ＧＡＮネットワーク３６のトレーニングのために１回だけ実行する必要があり、その後、生成ワーク３６が、これまで見たことのない新しい逆伝播画像１５ａ、１５ｂを盲目的に取得することができ（逆伝播画像は、実数成分と虚数成分をまとめて含む）、サンプル１４のボリューム内の任意の深度（ｚ）における対応する明視野画像（または他の実施形態では蛍光画像や暗視野画像）をほぼリアルタイムで推論できることを強調しておく（例えば、約０．１５ｍｍ^２のＦＯＶの推論時間は、単一のＮｖｉｄｉａ１０８０ＴｉＧＰＵを使用した場合は約０．１秒）。図５は、いくつかの花粉混合物に対するこれらのブラインド試験結果の例を示しており、逆伝播ホログラム画像１５ａ、１５ｂは、双像および自己干渉アーチファクト、ならびにスペックルおよび焦点外れの干渉によって損なわれている。一方、各深度（ｚ）に対する生成器ネットワーク３６の出力画像２０は、コントラストが明確に改善されており、逆伝播ホログラム画像１５ａ、１５ｂで観察されるアーチファクトやノイズ特徴（例えば、スペックルおよび干渉アーチファクトおよび双像ノイズ）がない。これらの結果は、同じサンプル深度における対応する明視野画像（グラウンドトゥルース画像）とよく一致する。すなわち、出力画像２０は、明視野顕微鏡を用いて同じ深度で得られたサンプル１４の画像に実質的に類似する。

［００４２］さらに、トレーニングされた深層ニューラルネットワーク３６は、モノクロセンサ（ＳｏｎｙＩＭＸ２１９ＰＱ、１．１２μｍピクセルサイズ）および狭帯域照明（λ＝８５０ｎｍ、帯域幅約１ｎｍ）で取得された入力ホログラフィック画像１２を使用して、複素数値の入力画像１５ｂの形態的特徴に基づいて、出力画像２０が明視野グラウンドトゥルース画像の色分布と一致するように、出力画像２０を正しくカラー化する。これが、黄色のブタクサ花粉とオーク花粉、および白いバミューダグラス花粉について、図５に示されている。さらに、図５に示すように、二乗平均平方根誤差（ＲＭＳＥ）、構造的類似性指数（ＳＳＩＭ）、およびユニバーサル画質指数（ＵＩＱＩ）を使用して、ネットワーク推論（すなわち、出力画像２０）と明視野顕微鏡のグラウンドトゥルース画像とが非常に類似していることを定量的に示されている。さらに、ＧＡＮネットワーク３６のフレームワークのいくつかのバリエーションについて、敵対的損失のないもの、識別器にスペクトル正規化を加えたもの、エンコーダ－デコーダ構造のものなどの性能を定量的に比較した結果、これらのＧＡＮのバリエーションが同様の推論性能を示すことが明らかになった。

［００４３］図６は、上で開示されたＧＡＮネットワーク３６および畳み込みニューラルネットワーク（ＣＮＮ）３６を含む、２つの異なるトレーニングされた深層ニューラルネットワーク３６の結果を示している。ＣＮＮは、弁別器と敵対的損失項を使用せずにトレーニングさせた生成器ネットワークと同じである。２つのネットワーク３６は、同じデータセットで同様の反復回数（約４０エポック）でトレーニングされた。花粉サンプル１４の４つの焦点の合った再構成画像を示す。これらの画像は、二乗平均平方根誤差（ＲＭＳＥ）、ピアソン相関係数（Ｃｏｒｒ．）、構造的類似性指数（ＳＳＩＭ）、およびユニバーサル画質指数（ＵＩＱＩ）を使用して、同じ深度で取得された対応する顕微鏡画像のグラウンドトゥルースと比較している。各画像の各基準のより良い値を太字で強調表示している。この比較から得られた定量的な値は、ＧＡＮとＣＮＮの出力画像２０でほぼ同じであった。ただし、ＧＡＮ出力画像２０は、ＣＮＮ出力画像２０よりも鮮明で、より多くの情報を表示しており、視覚的により魅力的である。また各サンプル画像２０を、ＢＲＩＳＱＵＥ（Blind/Referenceless Image Spatial Quality Evaluator）スコアを使用して評価した。スコアが低いほど視覚的品質が良いことを示す。ＢＲＩＳＱＵＥスコアは画像の下隅に表示され、ＧＡＮ出力画像２０は、ＣＮＮ出力画像２０と比較してスコアが小さい／良いことを示している。

［００４４］以下の表１は、４つの異なるネットワークバリエーションの定量的な比較を示している。ＧＡＮ３６は、本書の結果を報告するために使用された、図３に示されるネットワーク３６である。ＣＮＮは、弁別器および敵対的損失を使用しない同じ生成器ネットワーク３６である。エンコーダ・デコーダ構造は、Ｕ－Ｎｅｔ内のコンカチネーション接続（図３のコンカチネーション矢印）を除去して構築したものである。スペクトル正規化を行ったＧＡＮは、ＧＡＮ３６と同じ構造であり、弁別器の各畳み込み層でスペクトル正規化を行った。すべての異なるトレーニング済み深層ニューラルネットワーク３６は、同じデータセットで同様の反復回数（約４０エポック）でトレーニングされた。トレーニングされたニューラルネットワーク３６は、１７５のデジタルフォーカスされた花粉の逆伝播ホログラム画像でテストされた。ネットワーク出力画像２０は、同じ深度で取得した対応する顕微鏡画像のグラウンドトゥルースに対して、二乗平均平方根誤差（ＲＭＳＥ）、ピアソン相関係数（Ｃｏｒｒ．）、構造的類似性指数（ＳＳＩＭ）、およびユニバーサル画質指数（ＵＩＱＩ）を使用して、定量的に比較された。この比較から得られた定量的な値は、導入したネットワークバリエーションの違いに関係なく類似している。
（表１）

［００４５］深層ニューラルネットワーク３６は、２Ｄ基板に捕捉された花粉混合物のみを使用してトレーニングされたが、異なる深度でのサンプルのボリュームイメージングの推論をうまく実行することができる。図７Ａおよび７Ｂは、約８００μｍの厚さのポリジメチルシロキサン（ＰＤＭＳ）のバルクボリューム内に３Ｄで捕捉された花粉混合物を示す。サンプル１４の単一のインラインホログラフィック画像１２（図７Ｃ）が取り込まれ、サンプルボリューム内の異なる深度（ｚ）にデジタル逆伝播された（図７Ｄ）。これらの逆伝播ホログラフィック画像１５ａ、１５ｂをトレーニングされた深層ニューラルネットワーク３６に供給することにより、ホログラフィで観察されるスペックルアーチファクトおよび他の様々な干渉アーチファクト（例えば、双像、焦点が合っていないオブジェクトに関連するフリンジ、および自己干渉）のない出力画像２０が得られた（図７Ｄ（ネットワーク出力画像２０））。これらの画像は、３Ｄサンプル内の同一平面に機械的に焦点を合わせた明視野顕微鏡画像のコントラストおよび被写界深度（ＤＯＦ）と一致する。

［００４６］トレーニング画像データは均一で比較的まばらなサンプル（バイオエアロゾル）から取得されたため、はるかに高密度または空間的に接続された３Ｄサンプル１４の場合、トレーニングされた深層ニューラルネットワーク３６の推論プロセスは最適ではない結果を生成する可能性がある。空間的に高密度または接続されたサンプル１４の場合、ホログラム形成における参照波は、インライン操作のために歪んでしまい、高密度の散乱およびサンプル内で生じ得るオクルージョンのために平面波から逸脱する可能性がある。例えば、エアロゾルイメージングやサイトメトリに関連するアプリケーションの場合、この現象は制限をもたらさないが、３Ｄでより高密度のサンプルのイメージングを必要とする他のアプリケーションの場合、このアプローチの推論性能は、高密度で空間的に接続されたサンプル１４でネットワーク３６をトレーニングすることによって向上させることができる。

［００４７］提示されているスナップショットボリューム再構成の性能は、標準のコヒーレントノイズ除去または位相回復方法では得られないことに留意すべきである。この例を示すために、図８は、異なる高さに逆伝播された同じサンプルホログラフィック画像１２に適用された、オブジェクトサポートベースの位相回復方法の比較結果を示している。本図に示すように、反復位相回復方法は、逆伝播ホログラフィック画像のコントラスト対ノイズ比（ＣＮＲ）を約２から約３に実際に改善し、特に双像に関するアーチファクトのいくつかを抑制する。ただし、３Ｄオブジェクトによって作成された焦点の合っていないフリンジは十分に切り取られず、反復位相回復後でも再構成アーチファクトとして残っている。対照的に、トレーニングされた深層ニューラルネットワーク３６の出力画像２０は、デフォーカスしたコヒーレントフリンジを逓減されたインコヒーレントブロブに変換し、１５～２５を超える高いＣＮＲを達成し、図８に示すように、高ＮＡ明視野顕微鏡によってキャプチャされたグラウンドトゥルース画像と非常によく一致した。

［００４８］このクロスモダリティ変換性能をさらに定量化するために、１μｍのポリスチレンビーズを含むサンプル１４を画像化し、同じ方法に従って別のＧＡＮ３６をトレーニングした。次に、２４５個の個別／単離したマイクロビーズを含むサンプルをブラインドテストし、ＧＡＮ推論の前後にそれらの３Ｄ ＰＳＦ分布を測定した（図９Ａ～９Ｃ）。この比較の一例が図９Ａに示されており、逆伝播ホログラム画像（逆伝播振幅画像が示されている）は、出力画像２０によって明らかなように、ＧＡＮによって除去された有意な干渉アーチファクトを含み、機械的にスキャンされた明視野顕微鏡のグラウンドトゥルース画像（図９Ａの顕微鏡画像）の高コントラストに一致する出力画像２０が得られた。図９Ｂは、これらの２４５個のマイクロビーズを使用して得られた３Ｄ ＰＳＦに対応する横方向および軸方向の半値全幅（ＦＷＨＭ）値の分布を示している。干渉アーチファクトと低コントラストにより、逆伝播ホログラム（入力）のＰＳＦのＦＷＨＭ値は横方向にランダムに分布し、ＦＷＨＭの中央値は２．７１７６μｍであった。対照的に、ＧＡＮ出力画像２０のＰＳＦの横方向のＦＷＨＭ値は単分散であり、ＦＷＨＭの中央値は１．８２５４μｍであり、走査型明視野顕微鏡のグラウンドトゥルース（１．８７１９ｐｍ）の値と一致する（図９Ｂ）。コヒーレンス長が長いため、逆伝播ホログラム（入力）のＰＳＦは軸方向に長く、ＦＷＨＭの中央値は１２．９２１８μｍであり、走査型明視野顕微鏡のグラウンドトゥルース（ＦＷＨＭの中央値は９．８００３μｍ）と比較して大きくなっている。ネットワーク推論の結果は、軸方向のＰＳＦ分布が大幅に狭く、ＦＷＨＭの中央値が９．７９７８μｍで、走査型明視野顕微鏡で得られたグラウンドトゥルースと非常によく一致している（図９Ｃ）。これらの結果と、ネットワーク出力画像２０と走査型明視野顕微鏡で得られたグラウンドトゥルース画像との間の定量的な一致は、本システム１０の有効性をさらに裏付けるものである。

［００４９］（一例として）ホログラフィと明視野イメージングとの間の、この深層学習対応のクロスモダリティ画像変換システム１０および方法は、ボリュームサンプルを機械的にスキャンする必要性をなくすことができる。ホログラフィのデジタル波伝播フレームワークから利益を得て、サンプル１４のボリューム全体を仮想的にスキャンし、これらのデジタル伝播フィールドのそれぞれが、空間と色のコントラスト、およびインコヒーレント顕微鏡から期待される浅いＤＯＦを示す明視野顕微鏡画像に実質的に類似するか同等の出力画像２０に変換される。この点に関して、深層学習対応のホログラム変換ネットワーク３６は、ホログラフィのボリュームデジタルイメージング能力を、明視野顕微鏡のスペックルおよびアーチファクトのない画像コントラストと融合することにより、両方の世界の長所を達成する。この機能は、液体中を流れるサンプルの高速ボリュームイメージングに特に有用である。このアプローチは、他のホログラフィック顕微鏡および／またはインコヒーレント顕微鏡モダリティに適用して、１つのコヒーレントイメージングモードから別のインコヒーレント顕微鏡モダリティへの統計的画像変換を確立することもできる。システム１０は、単一のスナップショットホログラフィック画像１２（例えば、ホログラム）から３Ｄサンプルボリューム全体の推測を可能にし、したがって、高スループットのボリュームイメージングのタスクのための高ＮＡ明視野顕微鏡に代わる強力な代替手段として、コヒーレントホログラフィックイメージングを再導入し、したがって、コヒーレント顕微鏡の分野へのユニークな貢献をする。

［００５０］方法
［００５１］デジタルホログラフィック画像取得
［００５２］ホログラフィック画像１２を、図１Ｂに概略的に示すカスタマイズされたレンズレスホログラフィック撮像システム（例えば、ホログラフィック顕微鏡１６）を用いて取得した。このシステムは、照明用の光源４０としての垂直共振器面発光レーザ（ＶＣＳＥＬ）ダイオード（λ＝８５０ｎｍ）、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ４２（ＳｏｎｙＩＭＸ２１９ＰＱ、画素サイズ１．１２μｍ）、およびシステム制御用のＲａｓｐｂｅｒｒｙＰｉ２で構成した。この近赤外線照明は、カラーイメージセンサ４２の４つすべてのベイヤーチャネルを使用して、１回のスナップショットで達成できるホログラムのピクセルサイズに限定された解像度を向上させるために選択された。サンプル１４は、イメージセンサ４２の表面から約５００μｍ上に配置された３Ｄ印刷されたサンプルホルダ１８に取り付けられた。照明源４０は、空間フィルタやスペクトルフィルタを追加することなくサンプル面から約８ｃｍ上に配置された。

［００５３］走査型明視野顕微鏡画像の取得と位置合わせ（alignment）
［００５４］明視野顕微鏡画像（すなわち、グラウンドトゥルース画像）を、２０×／０．７５ＮＡ対物レンズ（ＵＰＬＳＡＰＯ２０Ｘ、オリンパスライフサイエンス）を使用して倒立走査型顕微鏡（ＩＸ８３、オリンパスライフサイエンス）で撮影した。顕微鏡は各サンプルを様々な横方向の位置でスキャンし、各位置で、０．５μｍのステップサイズで－３０μｍから３０μｍの画像スタックを撮影した。これらの明視野画像を取得した後、ＩｍａｇｅＪプラグインＳｔａｃｋＲｅｇを使用して顕微鏡画像スタックの位置合わせを行い、顕微鏡走査ステージの不正確さによって生じる剛体のずれや回転を修正した。

［００５５］ホログラム逆伝播とオートフォーカス
［００５６］生のデジタルインラインホログラム（ホログラフィック画像１２）を、ウェーブレット変換を用いて各ベイヤーチャネルの低周波の陰影を推定することによってバランスを取り陰影補正した。この補正されたホログラムを、角度スペクトルベースの自由空間逆伝播を用いて、異なる平面（明視野顕微鏡画像スタックの対応する平面と一致する）にデジタル逆伝播した。この目的のために、角度スペクトル（フーリエ）領域で３×パディングを使用し、ホログラムのピクセルサイズを３×で効果的に補間した。逆伝播ホログラムと対応する明視野顕微鏡画像スタックの高さを一致させるために、焦点面の高さを「ゼロ」と推定してクロスレジストレーションを行い、相対的な軸方向の伝播距離を明視野顕微鏡の軸方向走査ステップサイズ（０．５μｍ）に合わせて決定した。デジタルホログラムの焦点面は、エッジスパースベースのホログラフィックオートフォーカス基準を用いて推定した。

［００５７］ネットワークとトレーニング
［００５８］トレーニングのためにここで実装されたＧＡＮ３６は、図３に示すように、生成器ネットワーク（Ｇ）と弁別器ネットワーク（Ｄ）で構成される。生成器ネットワーク（Ｇ）は、オリジナルのＵ－Ｎｅｔデザインのバリエーションを採用し、わずかな変更と追加の残留接続を行った。弁別器ネットワーク（Ｄ）は、６つの畳み込みブロックと２つの完全接続（線形）層からなる畳み込みニューラルネットワークである。しかしながら、ＧＡＮ３６をトレーニングした後は、弁別器ネットワーク（Ｄ）は、最終的にトレーニングされた深層ニューラルネットワーク３６のパラメータをトレーニングするために使用されたため、最終的にトレーニングされた深層ニューラルネットワーク３６では使用されないことに留意されたい。元のトレーニングデータは約６，０００の画像ペアで構成され（以下の表２を参照）、画像をランダムに回転および反転させて３０，０００の画像ペアに拡張された。
（表２）

［００５９］２Ｄ花粉データセットは、粘着性のカバースリップを使用して平らな基板上でキャプチャされた花粉サンプルからの画像で構成される。３Ｄ花粉データセットは、厚さ８００μｍのポリジメチルシロキサン（ＰＤＭＳ）基板内に３Ｄに広がる花粉混合物の画像で構成される。３Ｄ花粉データセットにはテスト画像のみが含まれ、２Ｄ花粉画像でトレーニングされたネットワークを用いて評価される。両方のデータセットに、ホログラフィック顕微鏡および明視野顕微鏡の両モダリティにおける３Ｄ光の伝播動作を捉えるために、焦点が合っている画像と焦点が合っていない画像のペアを学習用に含んでいる。３Ｄ花粉ＰＤＭＳテストデータセットの画像サイズは１０２４×１０２４ピクセルで、他の画像のサイズは２５６×２５６ピクセルである。

［００６０］検証データは拡張されなかった。各トレーニング反復で、生成器ネットワークは学収率１０^－４の適応モーメント推定（Ａｄａｍ）オプティマイザを用いて６回更新され、一方で弁別器ネットワークは３×１０^－５の学習率で３回更新された。検証セットは５０回の反復ごとにテストされ、検証セットの平均絶対誤差（ＭＡＥ）損失が最小のものが最適なネットワークとして選択された。ネットワーク３６は、オープンソースの深層学習パッケージであるＴｅｎｓｏｒＦｌｏｗを使用して構築された。トレーニングと推論は、６コア３．６ＧＨｚのＣＰＵと１６ＧＢのＲＡＭを搭載したＰＣで、Ｎｖｉｄｉａ ＧｅＦｏｒｃｅＧＴＸ１０８０ＴｉＧＰＵを用いて行った。平均して、トレーニングプロセスは約５０，０００回の反復（約４０エポックに相当）に対して約９０時間かかった。トレーニング後のネットワーク推論時間は、２５６×２５６ピクセルの画像パッチで約０．１秒だった。

［００６１］サンプル調製
［００６２］乾燥した花粉サンプル：バミューダグラス花粉（Ｃｙｎｏｄｏｎ ｄａｃｔｙｌｏｎ）、オークツリー花粉（Ｑｕｅｒｃｕｓ ａｇｒｉｆｏｌｉａ）、およびブタクサ花粉（Ａｒｔｅｍｉｓｉａ ａｒｔｅｍｉｓｉｆｏｌｉａ）をＳｔａｌｌｅｒｇｅｎｅｓ Ｇｒｅｅｒ（ＮＣ、米国）から購入し（それぞれカタログ番号：２、１９５、および５６）、２：３：１の重量比で混合した。この混合物を、２Ｄ花粉サンプル用のインパクションベースの空気サンプラの粘着性のカバースリップに付着させた。また、混合物をＰＤＭＳで希釈し、３Ｄ花粉サンプル用のガラススライド上で硬化させた。直径１μｍのポリスチレンビーズサンプルをＴｈｅｒｍｏ Ｓｃｉｅｎｔｉｆｉｃ（カタログ番号：５１００Ａ）から購入し、メタノールで１０００倍に希釈した。希釈したビーズサンプルの２．５μＬの液滴を、洗浄した＃１カバースリップ上にピペットで移し、乾燥させた。

［００６３］トレーニングデータの準備
［００６４］明視野ホログラフィの背後にあるクロスモダリティ変換の成功は、逆伝播ホログラムと３Ｄの走査明視野顕微鏡画像との正確な位置合わせにかかっている。この位置合わせは図４に示すように２つの部分に分けることができる。第１の部分は、明視野画像（２０４８×２０４８ピクセル）をホログラムの画像をマッチングさせるもので、次のような手順で行われる。（１）操作１２２に示すように、ＩｍａｇｅＪのプラグインであるＭｉｃｒｏｓｃｏｐｙ Ｉｍａｇｅ Ｓｔｉｔｃｈｉｎｇ Ｔｏｏｌ（ＭＩＳＴ）を用いて、各明視野顕微鏡スタックの中間面をつなぎ合わせることにより、約２０，０００×４，０００ピクセルのスティッチされた明視野フルＦＯＶ画像を生成する。（２）操作１１２に示すように、陰影補正されたフルＦＯＶホログラムを、ホログラム中央の５１２×５１２ピクセルの領域にオートフォーカスすることによって特定されるグローバル焦点距離まで逆伝播する。（３）操作１２４に示すように、明視野フルＦＯＶ画像を、手動で選択された３～５組のマッチングポイントを通して剛体変換をフィットさせることにより、逆伝播されたホログラムフルＦＯＶに大まかに位置合わせする。（４）次に、この変換を用いて明視野フルＦＯＶをワープし（操作１２８）、ホログラムと重なる領域をトリミングしてマッチングペアを生成する（操作１１４、１３０）。

［００６５］第２の部分では、次の手順でｘ－ｙ方向とｚ方向の位置合わせをさらに調整する。（１）操作１１６、１３２に示すように、トリミングされたＦＯＶから小さなＦＯＶペア（３００×３００ピクセル）を選択する。（２）各ホログラムパッチに対してオートフォーカスを行い（操作１１８）、このパッチの焦点距離をｚ_０ ^Holoとして求める。（３）スタック内の各明視野高さの標準偏差（ｓｔｄ）を計算し、明視野スタックのフォーカス曲線を得る。フォーカス曲線の中でｓｔｄ値が最も高い４つの高さに２次多項式フィットを行い、この明視野スタックの焦点をフィットのピーク位置であると決定し、ｚ_０ ^BFとする。（４）高さｚ_ｉ ^BFのスタック内の各顕微鏡スキャンについて、距離ｚ_ｉ ^ＢＦ－ｚ_０ ^ＢＦ＋ｚ_０ ^Holoだけホログラムを後方伝搬することによって、対応するホログラム画像を生成する。ここで、リンギングアーチファクトを避けるために、伝播中にホログラムに対称パディングが用いられた。（５）各スタックで最も焦点の合った面と、他の５つのランダムに選択された焦点のずれた面とを選択した（操作１２０）。（６）焦点面に最も近い小さなＦＯＶ画像ペアにピラミッド弾性位置合わせ（操作１４２）を行い、他の５つの焦点が合っていない画像ペアに同じ位置合わせワーピング（registered warping）が適用され、合計６つの整列した小さなＦＯＶペアを生成した。（７）対応するパッチを２５６×２５６ピクセルの画像サイズにトリミングした（操作１４４）。ピラミッド型位置合わせでは正しい変換に収束しないことがあるため、生成されたデータセットも手動で検査し、位置合わせエラーによる重大なアーチファクトがあるデータが削除された。

［００６６］ネットワークとトレーニングの詳細
［００６７］ここで実装されたＧＡＮ３６は、図３に示すように、生成器ネットワーク（Ｇ）と弁別器ネットワーク（Ｄ）から構成される。生成器（Ｇ）は、オリジナルのＵ－Ｎｅｔ設計を少し変更し、残りの接続を追加したものを使用した。弁別器ネットワーク（Ｄ）は、６つの畳み込みブロックと２つの完全接続（線形）層を備えた畳み込みニューラルネットワークである。生成器の入力は、２５６×２５６×２の大きさで、２つのチャネルは、逆伝播された複素数値ホログラムの虚数１５ｂと実数１５ａの部分であった。生成器（Ｇ）の出力と弁別器（Ｄ）の入力のサイズは２５６×２５６×３で、３つのチャネルは明視野画像の赤、緑、青（ＲＧＢ）チャンネルに対応している。画像の登録とトリミングに続いて、データセットの７５％をトレーニング用、１５％を検証用、１０％をブラインドテスト用に分割した。トレーニング用データは約６，０００の画像ペアで構成され、画像をランダムに回転・反転させることでさらに３０，０００枚に拡張した。検証用データは拡張しなかった。

［００６８］トレーニングフェーズ中に、ネットワークは、次のように定義される生成器損失Ｌ_Ｇおよび弁別器損失Ｌ_Ｄを反復的に最小化した。
［００６９］

［００７０］

［００７１］ここで、Ｇ（ｘ^（ｉ））は入力ｘ^（ｉ）の生成器出力、ｚ^（ｉ）は対応するターゲット（明視野）画像、Ｄ（．）は生成器、ＭＡＥ（．）は平均絶対誤差を表し、次のように定義される。
［００７２］

［００７３］ここで、画像はＬ×Ｌピクセルである。Ｎは画像バッチサイズ（例えば、Ｎ＝２０、αはＬ_ＧのＧＡＮ損失とＭＡＥ損失のバランスパラメータで、α＝０．０１として選択した結果、Ｌ_Ｇ全体の損失のうち、それぞれＧＡＮ損失が９９％とＭＡＥ損失が１％を占めた。Ａｄａｍ（Adaptive momentum）オプティマイザを使用してＬ_ＧとＬ_Ｄを最小化し、学習率はそれぞれ１０^－４と３×１０^－５とした。各反復で、生成器の更新を６回と弁別器ネットワークの更新を３回行った。５０回の反復ごとに検証セットをテストし、検証セットでのＭＡＥ損失が最も少ないネットワークを最適なネットワークとして選択した。ネットワーク３６はＴｅｎｓｏｒＦｌｏｗを用いて実装したが、他のソフトウェアプログラムを使用してもよいことを理解されたい。

［００７４］ＰＳＦ分析のための横方向および軸方向のＦＷＨＭ値の推定
［００７５］最も焦点の合ったホログラム平面にしきい値を使用して、それぞれが単一のビーズを含む個々のサブ領域を抽出した。各サブ領域に対して２Ｄガウスフィットを実行し、横方向のＰＳＦ ＦＷＨＭを推定した。フィット重心を使用してｘ－ｚスライスを切り出し、各スライスに対して別の２Ｄガウスフィットを実行して、（ｉ）逆伝播ホログラムスタック、（ｉｉ）ネットワーク出力スタック、および（ｉｉｉ）走査型明視野顕微鏡スタックの軸方向のＰＳＦ ＦＷＨＭ値を推定した。続いて図９Ｂと９Ｃに示すように、横方向および軸方向のＰＳＦ ＦＷＨＭのヒストグラムを作成した。

［００７６］画質の定量評価
［００７７］各ネットワーク出力画像Ｉ^ｏｕｔを、以下の４つの異なる基準を使用して、対応するグラウンドトゥルース（明視野顕微鏡）画像Ｉ^ＧＴと比較して評価した：（１）二乗平均平方根誤差（ＲＭＳＥ）、（２）相関係数（Ｃｏｒｒ）、（３）構造的類似性（ＳＳＩＭ）、および（４）ユニバーサル画質指標（ＵＩＱＩ）。ＲＭＳＥは次のように定義される：
［００７８］

［００７９］ここで、Ｌ_ｘとＬ_ｙはそれぞれｘ方向とｙ方向のピクセル数を表す。
［００８０］相関係数は次のように定義される。
［００８１］

［００８２］ここで、σ^ｏｕｔとσ^ＧＴはそれぞれＩ^ｏｕｔとＩ^ＧＴの標準偏差であり、σ_{ｏｕｔ，ＧＴ}は２つの画像間の相互分散である。
［００８３］ＳＳＩＭは次のように定義される。
［００８４］

［００８５］ここで、μ_ｏｕｔとσ_ＧＴはそれぞれ画像Ｉ^ｏｕｔとＩ^ＧＴの平均値である。Ｃ_１およびＣ_２は、ゼロに近い分母による除算を防ぐために使用される定数である。
［００８６］ＵＩＱＩは、相関係数（Ｃｏｒｒ、式（５）を参照）、輝度の歪み（Ｉ）、およびコントラストの歪み（ｃ）の３つの成分の積である。すなわち：
［００８７］

ここで：
［００８８］

［００８９］

［００９１］ＵＩＱＩは、サイズＢ×ＢのＭ個のウィンドウにわたって局所的に測定され、ローカルＵＩＱＩ：Ｑ_ｉ（ｉ＝１，２，．．．，Ｍ）を生成した。次に、これらのローカルＵＩＱＩの平均値をグローバルＵＩＱＩとして定義した
［００９２］

［００９３］サイズＢ＝８のウィンドウを使用した。

［００９４］上記指標に加えて、Ｍａｔｌａｂ組み込み関数「ｂｒｉｓｑｕｅ」を用いて、ＢＲＩＳＱＵＥ（Blind Reference-less Image Spatial Quality Evaluator）でも画質を評価した。

［００９５］本発明の実施形態を図示し、説明してきたが、本発明の範囲から逸脱することなく、様々な変更を行うことができる。インラインのレンズレスホログラフィック顕微鏡を使用しているが、この方法は他のホログラフィックおよび干渉顕微鏡およびイメージャに適用可能であることを理解されたい。したがって、本発明は、添付の特許請求の範囲およびそれらの均等物以外のもので限定されるべきではない。

Claims (39)

1. ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で取得した顕微鏡画像に実質的に類似する画像へと変換する方法であって、 前記ホログラフィック顕微鏡で前記サンプルの単一のホログラフィック画像を取得するステップと、
   １つまたは複数のプロセッサを用いるコンピューティングデバイスで実行される画像処理ソフトウェアを使用して、前記サンプルのホログラフィック画像を特定の深度まで逆伝播するステップと、
   前記特定の深度での前記サンプルの逆伝播ホログラフィック画像を、コンピューティングデバイスによって実行されるトレーニングされた深層ニューラルネットワークに入力するステップと、
   前記トレーニングされた深層ニューラルネットワークから前記特定の深度での前記サンプルの画像を出力するステップとを含み、この出力画像は、異なる顕微鏡画像モダリティを有する顕微鏡を用いて同じ特定の深度で得られた前記サンプルの顕微鏡画像に実質的に類似することを特徴とする方法。
2. 前記ホログラフィック画像がモノクロ画像を含み、前記出力画像がカラー画像を含む、請求項１に記載の方法。
3. 前記サンプルが３次元サンプルを含み、前記出力画像が３Ｄ画像スタックを含む、請求項１に記載の方法。
4. 前記ホログラフィック顕微鏡が、コヒーレントまたは部分コヒーレント光源を含む、請求項１に記載の方法。
5. 前記出力画像には、スペックルおよび干渉アーチファクト、および／または双像ノイズが実質的にない、請求項１に記載の方法。
6. 前記ホログラフィック顕微鏡で得られた複数のトレーニング画像と、前記異なる画像モダリティを有する顕微鏡で得られたそれらに対応するグラウンドトゥルース画像とを使用して、前記深層ニューラルネットワークがトレーニングされる、請求項１に記載の方法。
7. 前記異なる画像モダリティが明視野顕微鏡画像を含む、請求項６に記載の方法。
8. 前記異なる画像モダリティが蛍光顕微鏡画像を含む、請求項６に記載の方法。
9. 前記異なる画像モダリティが暗視野顕微鏡画像を含む、請求項６に記載の方法。
10. それぞれのトレーニング画像とグラウンドトゥルース画像は、それぞれの画像からの視野を一致させた後、ピラミッド弾性位置合わせ操作（pyramid elastic registration operation）を行うことによって、互いに位置合わせされる、請求項６に記載の方法。
11. 前記出力画像が、前記入力画像および／または前記異なる画像モダリティを有する顕微鏡で得られたグラウンドトゥルース画像の横方向および／または軸方向解像度を超える横方向および／または軸方向解像度を有する、請求項６に記載の方法。
12. 前記コンピューティングデバイスが、１つまたは複数のグラフィック処理ユニット（ＧＰＵ）を含む、請求項１に記載の方法。
13. 前記トレーニングされた深層ニューラルネットワークから、異なる深度での前記サンプルの複数の画像を出力するステップを含み、前記複数の出力画像が、前記異なる顕微鏡画像モダリティを有する顕微鏡で同じ深度で取得された前記サンプルの対応する顕微鏡画像に実質的に類似している、請求項１記載の方法。
14. 前記ホログラフィック顕微鏡がレンズレス顕微鏡を含む、請求項１に記載の方法。
15. 前記ホログラフィック顕微鏡が携帯型顕微鏡を含む、請求項１に記載の方法。
16. ホログラフィック顕微鏡で取得したサンプルの画像を、異なる顕微鏡画像モダリティを有する顕微鏡で取得した顕微鏡画像に実質的に類似する画像へと変換する方法であって、
    前記ホログラフィック顕微鏡で前記サンプルの単一のホログラフィック画像を取得するステップと、
    前記サンプルのホログラフィック画像を、コンピューティングデバイスによって実行されるトレーニング済み深層ニューラルネットワークに入力するステップと、
    前記トレーニング済み深層ニューラルネットワークから特定の深度での前記サンプルの画像を出力するステップとを含み、この出力画像は、前記異なる顕微鏡画像モダリティを有する顕微鏡を用いて同じ特定の深度で得られたサンプルの顕微鏡画像に実質的に類似していることを特徴とする方法。
17. 前記ホログラフィック画像がモノクロ画像を含み、前記出力画像がカラー画像を含む、請求項１６に記載の方法。
18. 前記サンプルが三次元サンプルを含み、前記出力画像が三次元画像スタックを含む、請求項１６に記載の方法。
19. 前記ホログラフィック顕微鏡が、コヒーレントまたは部分コヒーレント光源を含む、請求項１６に記載の方法。
20. 前記出力画像には、スペックルおよび干渉アーチファクト、および／または双像ノイズが実質的にない、請求項１６に記載の方法。
21. 前記ホログラフィック顕微鏡で得られた複数のトレーニング画像と、前記異なる画像モダリティを有する顕微鏡で得られたそれらに対応するグラウンドトゥルース画像とを使用して、前記深層ニューラルネットワークがトレーニングされる、請求項１６に記載の方法。
22. 前記出力画像が、前記異なる画像モダリティを有する顕微鏡で得られた入力画像および／またはグラウンドトゥルース画像の横方向および／または軸方向解像度を超える横方向および／または軸方向解像度を有する、請求項１６に記載の方法。
23. 前記異なる画像モダリティが明視野顕微鏡画像を含む、請求項１６に記載の方法。
24. 前記異なる画像モダリティが蛍光顕微鏡画像を含む、請求項１６に記載の方法。
25. 前記異なる画像モダリティが暗視野顕微鏡画像を含む、請求項１６に記載の方法。
26. それぞれのトレーニング画像とグラウンド・トゥルース画像は、それぞれの画像からの視野を一致させ、その後にピラミッド弾性位置合わせ操作を行うことによって互いに位置合わせされる、請求項２１に記載の方法。
27. 前記コンピューティングデバイスは、１つまたは複数のグラフィック処理ユニット（ＧＰＵ）を含む、請求項１６に記載の方法。
28. 前記トレーニングされた深層ニューラルネットワークから、異なる深度での前記サンプルの複数の画像を出力するステップを含み、前記複数の出力画像は、前記異なる顕微鏡画像モダリティを有する顕微鏡でそれぞれ同じ深度で得られた前記サンプルの対応する顕微鏡画像に実質的に類似している、請求項１６記載の方法。
29. 前記ホログラフィック顕微鏡がレンズレス顕微鏡を含む、請求項１６に記載の方法。
30. 前記ホログラフィック顕微鏡が携帯型顕微鏡を含む、請求項１６に記載の方法。
31. 顕微鏡システムであって、
    ホログラフィック顕微鏡と、
    実行可能なソフトウェアを有し、トレーニングされた深層ニューラルネットワークを含む画像処理ソフトウェアを実行するように構成された１つまたは複数のコンピューティングデバイスとを具え、前記トレーニングされた深層ニューラルネットワークは、前記ホログラフィック顕微鏡で取得されたサンプルの生および／または逆伝播ホログラム画像を入力として受け取り、前記サンプル内の任意の深度での当該サンプルの１つまたは複数の出力画像を出力し、ここで前記１つまたは複数の出力画像は、異なる顕微鏡画像モダリティを有する顕微鏡で取得された、前記サンプル内の同じ任意の深度で取得された前記サンプルの顕微鏡画像に実質的に類似していることを特徴とする顕微鏡システム。
32. 前記深層ニューラルネットワークは、前記ホログラフィック顕微鏡で得られた複数のトレーニング画像と、前記異なる画像モダリティを有する顕微鏡で得られたそれらに対応するグラウンドトゥルース画像を使用してトレーニングされる、請求項３１に記載の顕微鏡システム。
33. 前記異なる画像モダリティが明視野顕微鏡画像を含む、請求項３１に記載の顕微鏡システム。
34. 前記異なる画像モダリティが蛍光顕微鏡画像を含む、請求項３１に記載の顕微鏡システム。
35. 前記異なる画像モダリティが暗視野顕微鏡画像を含む、請求項３１に記載の顕微鏡システム。
36. 前記ホログラフィック顕微鏡がレンズレス顕微鏡である、請求項３１に記載の顕微鏡システム。
37. 前記ホログラフィック顕微鏡が携帯型顕微鏡を含む、請求項３１に記載の顕微鏡システム。
38. 前記サンプルは三次元サンプルを含み、前記出力画像は３Ｄ画像スタックを含む、請求項３１に記載の顕微鏡システム。
39. 前記１つまたは複数のコンピューティングデバイスが、パーソナルコンピュータ、ラップトップ、タブレットＰＣ、ポータブル電子デバイス、サーバ、または仮想サーバのうちの１つまたは複数を含む、請求項３１に記載の顕微鏡システム。

Images