JP2018504627A - 多重フーリエタイコグラフィイメージングシステム及び方法 - Google Patents

Abstract

特定の実施形態は多重フーリエタイコグラフィイメージングシステム及び方法に関する。一例では、本多重フーリエタイコグラフィイメージングシステムは、撮像する試料を照明するＬＥＤパターンのシーケンスを発生するよう構成されたＬＥＤアレイを含む。本システムは、アレイの各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするために電力を独立に制御するように構成されたＬＥＤ回路を含む。本システムは第１セットの低分解能画像を取得する光検出器を含み、各画像は一意のＬＥＤパターンによる照明中の露光時間中に取得される。本システムは、前記第１セットの低分解能画像を用いてＬＥＤアレイ内の各ＬＥＤと関連する第２セットの低分解能画像を発生し、フーリエ領域内の重複領域を第２セットの低分解能画像で反復的に更新して高分解能画像を生成する。

Description

関連出願のクロスリファレンス
本願は、米国仮特許出願第６１／７２０２５８号（発明の名称”Breaking the Spatial Product Barrier via Non-Interferometric Aperture-Synthesizing Microscopy (NAM)”, 出願日：２０１２年１０月２０日出）及び米国特許仮出願第６１／８４７４７２号（発明の名称”Fourier Ptychographic Microscopy”、出願日：２０１３年７月１７日）の優先権を主張する米国特許出願第１４／０６５，２８０号（発明の名称”Fourier Ptychographic Imaging Systems, Devices and Methods”、出願日：２０１３年１０月２３日）の部分継続出願であり、これらの仮出願は、すべての目的に対して参照することによりその全文が本明細書に援用される。

政府支援の研究又は開発
本発明は、国立衛生研究所によって与えられた許可番号ＯＤ００７３０７の下で政府支援を受けてなされた。政府は、本発明において一定の権利を有する。

発明の背景
本明細書に記載されるいくつかの実施形態は一般にディジタルイメージングに関し、より詳しくは多重フーリエタイコグラフィイメージングシステム及びそれらの構成要素、及び多重フーリエタイコグラフィイメージング方法に関する。

タイコグラフィーイメージングは低分解能の強度画像を収集し、それらを高分解能の画像に再構成する技術である。過去２０年に亘って、マイクロスケール及びナノスケール現象の高分解能で広視野の画像を生成するために様々なレジームで使用されてきた。第３世代シンクロトンソースにおけるＸ線レジームにおいて、原子スケール現象用の電子顕微鏡において、又は生物試料用の光学レジームにおいて、タイコグラフィは解析限界に近い数百メガピクセルの試料情報を取得する圧倒的な能力を示した。一般的に、タイコグラフィの基本的動作は試料が集束ビームによりスキャンされるとき試料から発する一連の回折パターンをサンプリングすることにある。これらの強度のみの測定値はその後、単一記録回折パターンより多数の試料情報の画素を有する複素（即ち、振幅及び位相）高分解能画像に再構成される。

最近、関心試料を異なる入射角から連続的に照明しながら取得した一連の低分解能強度測定値から試料の高分解能複素画像を構成するフーリエタイコグラフィイメージング技術が紹介されている。一つの特定の実施例では、フーリエタイコグラフィマイクロスコピー（ＦＰＭ）システムは薄い半透明の関心試料の下方に置かれた発光ダイオード（ＬＥＤ）のアレイを使用する。各ＬＥＤは点光源を近似する。画像取得中に、ＦＰＭシステムは個々のＬＥＤを連続的にターンオンして異なる角度から試料に入射する光を供給する。各ＬＥＤからの光は薄い試料を通過して結像レンズ（例えば、通常の顕微鏡対物レンズ）に入射する。光検出器が結像レンズからの回折パターンを受け取り、強度測定値を取得して各入射角に対する一意の低分解能画像を形成する。異なる入射角による連続照明中に取得した一組の低分解能画像は位相回復処理によって高分解能複素測定値に再構成することができる。この標準のフーリエタイコグラフィイメージング技術及びこの技術を実装するＦＰＭシステムの一例は、Zheng, Guoan. Horstmeyer, Roarke, and Yang, Canghuei, “Wide-field, high-resolution Fourier ptychographic microscopy”, Nature Photonics vol.7(2013), pp.739-745（非特許文献１）及び米国特許出願第１４／０６５，２８０号（発明の名称”Fourier Ptychographic Imaging Systems, Devices and Methods”、出願日：２０１３年１０月２３日）（特許文献１）に見ることができ、これらはすべての目的に対して参照することによりその全文が本明細書に援用される。

米国特許出願第１４／０６５，２８０号（発明の名称”Fourier Ptychographic Imaging Systems, Devices and Methods”、出願日：２０１３年１０月２３日）

Zheng, Guoan. Horstmeyer, Roarke, and Yang, Canghuei, "Wide-field, high-resolution Fourier ptychographic microscopy", Nature Photonics vol.7(2013), pp.739-745

特定の実施形態は、ディジタルイメージングに関し、より詳しくは多重フーリエタイコグラフィイメージングシステム及びそれらの構成要素、及び多重フーリエタイコグラフィイメージング方法に関する。

特定の実施形態は多重フーリエタイコグラフィイメージングシステムに関する。本システムはＬＥＤパターンのシーケンスを放射するように構成されたＬＥＤアレイを備え、このＬＥＤアレイは撮像する試料を照明するように配置される。本システムは更に、前記ＬＥＤアレイと電気的に通信するＬＥＤ回路を備え、このＬＥＤ回路は各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするために電力を独立に制御するように構成される。本システムは更に、照明された試料から出る光を集光するように構成されたレンズを備える。本システムは更に、前記レンズからの光を受光して前記ＬＥＤパターンのシーケンスと関連する第１セットの低分解能画像を取得するように構成された光検出器を備え、各低分解能画像は露光時間中に受けた光に基づいている。本システムは更に、前記第１セットの低分解能画像を用いてＬＥＤアレイ内の各ＬＥＤと関連する第２セットの低分解能画像を発生し、フーリエ領域内の重複領域を第２セットの低分解能画像で反復的に更新して高分解能画像を生成するように構成されたプロセッサを備える。

特定の実施形態は多重フーリエタイコグラフィイメージングシステムのＬＥＤアレイアセンブリに関する。本ＬＥＤアレイアセンブリは一般にＬＥＤアレイ及びそのＬＥＤアレイと電気通信するＬＥＤ回路とを備える。そのＬＥＤアレイは撮像する試料を照明するように配置される。そのＬＥＤ回路は各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするために電力を独立に制御するように構成される。

特定の実施形態は多重フーリエタイコグラフィイメージング方法に関する。本方法は、試料をＬＥＤパターンのシーケンスにより多重照明する。本方法は、レンズを用いて照明された試料からでる光を集光する。本方法は、前記レンズからの光を受光する光検出器を用いて前記試料の第１セットの低分解能画像を取得する。各低分解能画像は，ＬＥＤパターンの一つが照明されている間の露光時間中に取得される。本方法は、第１セットの低分解画像を用いて試料の第２セットの低分解能画像を生成する。第２セットの各低分解能画像はＬＥＤパターンの単一ＬＥＤと関連する。本方法は、フーリエ空間内のオーバラップ領域を第２セットの低分解能画像で反復的に更新することによって試料の高分解能画像を再構成する。

これらの及び他の特徴は関連図面を参照して以下でより詳しく説明される。

いくつかの実施形態に係わる、多重フーリエタイコグラフィイメージングシステムの構成要素のブロック図である。 一実施形態に係わる、画像収集アセンブリの概略側面図である。 一実施形態に係わる、画像収集アセンブリの概略斜視図である。 一実施形態に係わる、ＬＥＤアレイ内のすべてのＬＥＤに一定のパワーを同時に供給し得るＬＥＤ回路を備えたＬＥＤアレイアセンブリの概略図である。 一実施形態に係わる、ＬＥＤアレイの概略図である。 一実施形態に係わる、２Ｄ ＬＥＤアレイの概略図である。 一実施形態に係わる、一次元ＬＥＤアレイ内のＬＥＤパターンのシーケンスの概略図である。 一実施形態に係わる、各画像取得中にただ一つのＬＥＤがターンオンされる、７個のＬＥＤを有する一次元ＬＥＤアレイの概略図である。 一実施形態に係わる、多重フーリエタイコグラフィイメージング方法のフローチャートである。 一実施形態に係わる、再構成プロセスのフローチャートである。 一実施形態に係わる、再構成プロセスのフローチャートである。 いくつかの実施形態に係わる、多重フーリエタイコグラフィイメージングシステム内に存在し得る一以上のサブシステムのブロック図である。

本発明のいくつかの実施形態を添付図面を参照して以下に記載する。図面に示す機構は寸法通りではない。

いくつかの実施形態は多重フーリエタイコグラフィイメージングシステム、システム構成要素、及び方法に関する。いくつかの態様では、多重フーリエタイコグラフィイメージングシステムはＬＥＤアレイアセンブリを備え、該アセンブリはＬＥＤアレイに接続されたＬＥＤ回路を有し、独立に電力を制御して、試料の多重照明のためのＬＥＤパターンのシーケンスの各パターン内の複数のＬＥＤを同時にターンオンする。本システムは更に、ＬＥＤ回路と通信し且つ光検出器と通信するプロセッサを備える。本システムは、各サイクル中に使用する前記ＬＥＤパターンのシーケンス及び露光時間を決定し、画像取得中に前記ＬＥＤパターンのシーケンスを放射するために個々のＬＥＤのターンオンを制御する制御信号を送信する。本システムは更に、照明された試料から出る光を受光するように置かれた結像レンズ（例えば、対物レンズ）を備える。本システムは、照明された試料から出る光に基づいて前記結像レンズから転送される回折パターンを受信するように置かれた光検出器を備える。この光検出器は各ＬＥＤパターンによる照明中の露光時間に光子を受信し、強度測定値を取得し、一つの低分解能画像を取得する。前記プロセッサは、決定された露光時間に基づいて前記光検出器による画像取得を制御するために前記光検出器に制御信号を送信する。各サイクル中に、前記光検出器は、試料が前記ＬＥＤパターンのシーケンスで照明されている間に第１セットの低分解能画像を取得する。本システムは、この第1セットの低分解能画像を用いて、第2セットの低分解能画像を生成し、この第2セットの低分解能画像を用いて高分解能画像を生成する。

各サイクル中に、本システムは当該サイクル中に使用するＬＥＤパターンのシーケンス及び露光時間を決定する。各パターンの複数のＬＥＤは各画像取得中に試料を照明するために前記ＬＥＤアレイ内で同時にターンオンされる。前記結像レンズは試料から出る光を受光し、前記光検出器は前記結像レンズから転送される光を受光する。各画像を取得するために、前記光検出器は、一つのＬＥＤパターンが照明されている間に、光子を露光時間の間受信し、強度測定値をサンプリングする。各プロセスサイクル中に、前記光検出器はＬＥＤパターンのシーケンスによる照明中に第１セットの低分解能画像を取得する。一部の例では、前記プロセッサは、最大処理時間及び／又は最小信号対雑音比（ＳＮＲ）に基づいて前記ＬＥＤパターン及び露光時間を決定する。例えば、オペレータは調整入力を一つ以上の最大処理時間及び露光時間とともに付与することができる。一例では、プロセッサは、サイクル中の総処理時間を最大処理時間未満に維持する露光時間及び／又は取得される画像を最小ＳＮＲより大きいＳＮＲを有するものとするＬＥＤパターンを決定することができる。第1セットの低分解能画像を取得したのち、第1画像データセットの加重和演算を実行して、各画像取得時間においてただ一つのＬＥＤがターンオンされた場合に取得されたであろう第2画像データセットを生成する。この加重和演算後に、画像試料の高分解能振幅及び位相マップを前記第2データセットに基づいて再構成することができる。使用可能な再構成プロセスの詳細は、Section III, in Zheng, Guoan, Horstmeyer, Roarke, and Yang, Changhuei, "Wide-field, high-resolution Fourier ptychographic microscopy," Nature Photonics, vol. 7, pp. 739-745 (2013), 及び米国特許出願第１４／０６５，２８０号,発明の名称「Fourier Ptychographic Imaging Systems, Devices, and Methods」、出願日：２０１３年１０月２８日、に見られる。

標準のフーリエタイコグラフィイメージング技術によるデータ取得は、一般に、Ｎ個のＬＥＤの大きなアレイ内で、一回の一つのＬＥＤを発光させ、各発光されたＬＥＤについて特定の入射角に基づいてディジタル画像を取得することによって行われている。Ｎが数百のＬＥＤである場合、データ取得プロセスは時間がかかり得る。例えば、1秒の露光時間で２２５画像を取得するために２２５のＬＥＤを使用する標準の負タイコグラフィイメージングシステムは２２５秒の総画像取得時間を要する。

取得する各画像に対して一つのＬＥＤをターンオンする代わりに、いくつかの実施形態の多重フーリエタイコグラフィイメージングシステムは多重照明を使用する。本システムはＬＥＤアレイ内の任意のＬＥＤをターンオンし得るＬＥＤアレイアセンブリでＬＥＤパターンのシーケンスの一意のパターンをターンオンするように設計される。一例では、ＬＥＤパターンは各画像に対してＬＥＤの総数の１／２〜３／４までターンオンし得る。一意のパターンからの照明の下でのＮ個の異なる画像の取得後に、得られた画像を線形に結合すると、アレイ内の個々のＬＥＤがターンオンされた場合に取得されるであろう第２データセットを生成することができる。しかしながら、各画像はただ一つのＬＥＤを用いる場合よりずっと明るい光で照明されるために、１画像につきより短い露光時間を使用でき、より高速のデータ取得プロセスがもたらされる。

いくつかの態様では、多重フーリエタイコグラフィイメージングシステム及び方法は、同じ雑音で露光時間を大幅に低減できるために、高分解能画像を生成する速度を高めるように構成される。上述したように、特定の標準フーリエタイコグラフィイメージング技術は、試料をただ一つの入射角から照明するために各画像取得時にただ一つのＬＥＤをターンオンすることに基づいている。多重フーリエタイコグラフィイメージング技術は各画像取得中に一意のパターン内の複数のＬＥＤを同時にターンオンする。パターン化された照明を提供するために、多重フーリエタイコグラフィイメージングシステムは、回路を有するＬＥＤアレイアセンブリと、一意のパターンを放射するためにＬＥＤアレイの任意のＬＥＤをターンオンできるようにアレイ内の各ＬＥＤを独立に制御するように設計されたプロセッサを含む。各低分解能画像は光検出器で受信される著しく多数の光子に基くため、取得される各画像に対して雑音が小さくなる。この場合、多重フーリエタイコグラフィイメージングシステムは同じ雑音を維持しながら露光時間を大幅に短縮し得る。各画像取得時の露光時間の短縮は全処理時間を低減する。雑音の量は各パターン内で発光されるＬＥＤの数に基づく。幾つかの態様では、システムは、特定の露光時間を選択することによって処理時間を調整すること及び／又は特定のＬＥＤパターンのシーケンスを選択することによってＳＮＲを調整することができる。例えば、システムのオペレータは調整入力を付与し、処理時間をオペレータにより付与された処理時間未満に維持するとともに、雑音も特定のＳＮＲレベル未満に維持することができる。例えば、２２５の画像を取得するために２２５のＬＥＤを使用する多重フーリエタイコグラフィイメージングシステムは、画像取得中に各一意のパターンに対して２２５のＬＥＤのうちの１１３を同時にターンオンすることができる。同じ雑音量を維持しながら、露光時間はｓｇｒｔ(２２５)/２＝７．５で割った値に低減し得る。すなわち、各取得時に１ＬＥＤの照明を用いる場合の原露光時間が１画像につき１秒である場合、多重フーリエタイコグラフィイメージングシステムで使用される新露光時間は同じ雑音量を維持しながら１/７．５＝０．１３秒にていげんできる。この場合には、全画像取得時間は２２５秒から２２５＊０．１３＝３０秒に低減できる。

I. 多重フーリエタイコグラフィイメージングシステム

図１はいくつかの実施形態による多重フーリエタイコグラフィイメージングシステム１０の構成要素のブロック図である。システム１０は、ＬＥＤアレイアセンブリ１１０、結像レンズ１２０及び強度測定を行う光検出器１３０を備える画像収集アセンブリ１００を含む。ＬＥＤアレイアセンブリ１１０は、撮像される試料（図示せず）を照明するように構成されたＬＥＤアレイ１１２とＬＥＤ回路１１４を備える。システム１０は更に、プロセッサ１４４及びＣＲＭ（即ち、コンピュータ可読媒体）１４６を有するコントローラ１４０、任意選択の（破線で示される）ディジタル１６０、及び任意選択の（破線で示される）入力インタフェース１７０を含む。ＬＥＤ回路１１４はＬＥＤアレイ１１２及びコントローラ１４０のプロセッサ１４４と電気通信する。ＬＥＤかいろ１４０は、ＬＥＤアレイ１１２内の各ＬＥＤを独立にターンオンする電力を供給するように構成される。プロセッサ１４４はＬＥＤパターンのシーケンス及び決定し、制御信号を回路１４４を介してＬＥＤアレイ１１２に供給してＬＥＤパターンのシーケンスを放射する。ＬＥＤアレイ１１２と結像レンズ１２０の間の矢印は、結像レンズ１２０がＬＥＤアレイ１１２からのコヒーレント光により照明された試料から出る光を受光するように位置することを示す。結像レンズ１２０と光検出器１３０の間の矢印は、光検出器１３０が結像レンズ１２０から伝達される試料から出る光を受光するように位置することを示す。光検出器１３０はＬＥＤパターンのシーケンスにより照明された試料の第１セットの低分解能画像を連続的に取得し、各低分解能画像は露光時間に亘って得られた強度測定値に基づいている。本明細書において、露光時間は一般に、光検出器が光子を収集し、収集した光子から総エネルギーを電位に積分する間の持続時間を意味し、この電位は個別の光検出素子における強度の測定値として用いて単一の低分解能画像を構成する画像データを形成する。

多重フーリエタイコグラフィイメージングシステム１０は、プロセッサ１４４及びＣＲＭ１４６と、任意選択のディジタル６０と、任意選択の入力インタフェース１７０を含む。一例では、これらの構成要素の一つ以上を単一のコンピューティング装置、例えばスマートフォン、ラップトップ、デスクトップ、タブレットなどの一部とし得る。任意選択のディスプレイ、任意選択の入力インタフェース１７０及びＣＲＭ１４６はすべてプロセッサ１４４と通信する。コントローラ１４０のプロセッサ１４４は画像取得中に使用するＬＥＤパターンのシーケンス及び露光時間を決定し、更に光検出器１３０により取得された第１セットの低分解能画像の強度データから高分解能画像を生成する。プロセッサ１４４はまた光検出器１３０及びＬＥＤ回路１１４と通信し、制御信号を送信してＬＥＤパターンの照明を露光時間と同期させて、第１セットの低分解能画像をＬＥＤパターンのシーケンスの照明時刻で取得する。即ち、プロセッサ１４４は制御信号をＬＥＤ回路１１４を介してＬＥＤアレイ１１２に送信してＬＥＤパターンのシーケンスを放射するよう命令する。プロセッサ１４４は制御信号を光検出器１３０に供給し、ＬＥＤアレイがＬＥＤパターンのシーケンスを放射する間に、光子を露光時間中受信する。

図２及び図３は、図１に示すシステムのような多重フーリエタイコグラフィイメージングシステムで使用し得る画像収集アセンブリの構成要素の概略図である。図２は、一実施形態による画像収集アセンブリ２００の側面図である。画像収集アセンブリ２００は、試料２００を照明するように置かれたＬＥＤアレイ２１２を有するＬＥＤアレイアセンブリ２１０と、その活性検出面で受信した光子から強度を測定する光検出器２３０を備える。この例では、画像収集アセンブリ２００は透過照明モードに配置され、照明光を撮像中の試料を透過するように向け、結像レンズ２２０は試料を透過した光を受光する。この図示の例では、ＬＥＤアレイ２１２は７個のＬＥＤを有する一次元ＬＥＤアレイである。この図示の例では、４個のＬＥＤ２１４が発光され、３個のダＬＥＤ２１５が発光されてないＬＥＤパターンが示されている。画像取得中に、ＬＥＤはコントローラ（図示せず）から回路（図示せず）を経て制御命令を受信し、制御命令を実行してＬＥＤパターンのシーケンスを放射する。システム２００は更に、照明された試料２０から出る光を受光しそのＮＡに基づいて受け入れる結像レンズ２２０を備える。場合によっては、結像レンズ２２０は試料面のフーリエ面に位置してよい。光検出器２３０は結像レンズ２２０から伝達される照明光を受光し、強度データを露光時間に亘って測定して各低分解能画像を取得する。画像取得動作中に、光検出器２３０は、試料２０が放射されたＬＥＤパターンのシーケンスによって照明されている間に第１セットの低分解能画像を取得する。

図３は、一実施形態による画像収集アセンブリ３００の斜視図の概略図である。画像収集アセンブリ３００は、試料２１を照明するように構成されたＬＥＤアレイ３１２を有するＬＥＤアレイアセンブリ３１０と、結像レンズ３２０（タイコグラフィ、対物レンズ）と、光検出器３３０を備える。ＬＥＤアレイ３１２は４００個のＬＥＤを有する二次元アレイ（２０×２０）である。アレイ３１２内の特定のＬＥＤの照明角度を示す矢印が示されている。動作中に、ＬＥＤはコントローラ（図示せず）から回路（図示せず）を経て制御命令を受信し、制御命令を実行してＬＥＤパターンのシーケンスを放射する。結像レンズ３２０は照明された試料２１から出る光を受光し、そのＮＡに基づいて受け入れる。場合によっては、結像レンズ３２０は試料面のフーリエ面に位置してよい。光検出器３３０は結像レンズ３２０から伝達される照明光を受光し、強度データを露光時間に亘って測定して各低分解能画像を取得する。画像取得動作中に、光検出器３３０は、試料２１が放射されたＬＥＤパターンのシーケンスによって照明されている間に低分解能画像のシーケンスに対する強度データを測定する。

いくつかの態様によれば、画像収集アセンブリの構成要素は透過照明モード（即ち、試料を透過した光を集光レンズで集光する）又は反射モード（即ち試料から反射された光を結像レンズで集光する）の何れかで動作するように配置してもよい。図２では、例えば、画像収集アセンブリ２００の構成要素は透過照明モードで動作するように配置され、ＬＥＤアレイ２１２と結像レンズ２２０は照明光を試料２０を透過するように向け、結像レンズ２２０が試料２０を透過した光を受光するように配置される。反射モードで動作するには、ＬＥＤアレイと結像レンズは照明光を試料に向け、結像レンズが試料から反射される光を受光するように配置される。

多重フーリエタイコグラフィイメージングシステムの標準的なサイクル中に、プロセッサはＬＥＤパターンのシーケンスを決定して光検出器による画像取得中に放射する。プロセッサは、各画像収集のために光検出器が光子を受信し強度値を測定する露光時間も決定する。プロセッサは制御信号を制御データとともに光検出器及びＬＥＤアレイの両方に送り、各ＬＥＤパターンの放射を画像取得と同期させる。プロセッサは、例えば画像取得動作の開始時間、各画像取得に対して決定された露光時間及びカソードクラスＬＥＤパターンの対応する照明時間、及び取得画像数、決定されたＬＥＤパターンのシーケンスを放射するデータのうちの一つ以上を含む制御データを送信する。画像取得中に、プロセッサは回路を介してＬＥＤアレイ内の各ＬＥＤを独立に制御してＬＥＤパターンのシーケンス内のＬＥＤをターンオンする。結像レンズは試料から出る光を受光し、その光を光検出器に転送する。光検出器は、各ＬＥＤパターンが放射される決定露光時間中に光子を受信し、強度測定値をサンプリングする。各サイクルの画像取得プロセス中に、光検出器は、試料が決定されたＬＥＤパターンのシーケンスにより照明される間に、試料の第１セットの低分解能画像を連続的に取得する。プロセッサは第１画像データセットに加重和演算を実行して第２画像データセットを再生する。この第２画像データセットは、各画像取得時に単一ＬＥＤがターンオンされた場合に取得されるものである。プロセッサはこの第２データセットを用いて試料画像の高分解能振幅及び位相マップを再構成する。

一般に、試料は一以上の関心対象物を含み得る。例えば、試料は一以上の細胞小器官を有する生物試料とし得る。別の例として、試料はハードウェアウェハとし得る。場合によっては、試料中の一以上の対象物は薄膜又は半透明にしてよい。

いくつかの態様では、多重フーリエタイコグラフィイメージングシステムは、ＬＥＤアレイとＬＥＤ回路を備えるＬＥＤアレイアセンブリを備える。ＬＥＤ回路はＬＥＤアレイ内の各ＬＥＤと、例えばコントローラのプロセッサとの間の電気通信を提供する。即ち、プロセッサはＬＥＤ回路を経てＬＥＤアレイに電気的に接続され、ＬＥＤパターンのシーケンス内の各ＬＥＤパターンのＬＥＤをターンオンする制御信号を送信することができる。

ＬＥＤアレイアセンブリは照明用にｎ×ｍ次元のＬＥＤアレイを備える。ＬＥＤアレイは個別のＬＥＤの一次元アレイ（１×ｍ、ここでｎ＝１）又は二次元アレイにし得る。ＬＥＤアレイの次元のいくつかの例は、６×６，７×７，８×８，９×９，１０×１０，３２×３２，５０×５０，２０×２０，３０×３０，６０×６０，１００５０×１０，２０×６０，１×１０，１×７，１×２０，１×３０などである。他の次元を使用してもよい。ＬＥＤアレイ内の各ＬＥＤは点発光体として近似してもよい。ＬＥＤアレイは多くの場合アレイの各位置に一つのＬＥＤとして記載するが、各位置は場合によっては複数のＬＥＤを有し得る。例えば、アレイ内の各位置は青色ＬＥＤ、緑色ＬＥＤ及び赤色ＬＥＤを有し得る。場合によっては、ＬＥＤは可変光波長を提供する。他の場合には、ＬＥＤは紫外光波長を提供する。他の場合には、ＬＥＤは赤外光波長を提供する。

いくつかの態様では、多重フーリエイタイコグラフィメージングシステムは、各ＬＥＤに供給される電力をそのＬＥＤが［オン］状態になる時間に亘り変化させる必要なしに、ＬＥＤアレイ内のアレイの任意の組み合わせに電力（電圧）を同時に供給することができるＬＥＤ回路を有するＬＥＤアレイアセンブリを備える。換言すれば、ＬＥＤ回路はアレイ内の「オン」状態にする必要があるありとあらゆるＬＥＤに一定の電力（即ち電圧）を同時に供給することができる。即ち、ＬＥＤ回路は、アレイ内のＬＥＤの任意の組み合わせを同時にオン／オフする独立制御を可能にするように設計される。一例では，ＬＥＤ回路は各ＬＥＤとプロセッサとの間に電気接続（例えば配線）を備える。

図４は、一実施形態に係わる、ＬＥＤアレイ内の「オン」状態にする必要があるすべてのＬＥＤに一定の電力（即ち、電圧）を同時に供給し得るＬＥＤ回路４１２を有するＬＥＤアレイアセンブリ４１０の概略図である。ＬＥＤアレイアセンブリ４１０は３×５ＬＥＤアレイ４１２及び個別にアドレスされるＬＥＤ回路４１４を備える。ＬＥＤ回路４１４を示す矢印はＬＥＤ回路４１４内の一つの配線を示すが、この図示のＬＥＤ回路４１４内には１５の配線が存在することを理解されたい。図に示すように、ＬＥＤ回路４１４はアレイ４１２内の各ＬＥＤとコントローラ（例えば、マイクロコントローラ）の制御ロジックとの間に一つの配線を含んでいる。単一配線は各ＬＥＤへのＤＣ電圧／電流を個別に制御する能力を提供する。即ち、ＬＥＤアレイ４１２は個別にアドレスされるアレイである。

従来のＬＥＤアレイは一般的に一度に一つのＬＥＤをターンオンするように電気接続を用いて設計され、各ＬＥＤは関連する行及び列に値を設定することによって制御される。このようなＬＥＤアレイはしばしば多重ディスプレイと称されている。関連する形態のディスプレイはしばしばチャーリープレックスディスプレイと称されている。例えば、しばしばドットマトリクスディスプレイと称されている一つの従来のＬＥＤアレイでは、ドットマトリクスコントローラを備え、行がマイクロコントローラのＬＥＤアノードに接続され、列がマイクロコントローラのＬＥＤカソードに接続される。ある列内のＬＥＤのどれかをターンオンするためには、その列は低設定（例えば、低電圧）にする必要がある。ある行内のＬＥＤのどれかをターンオンするためには、その行は高設定（例えば、高電流）にする必要がある。行及び列が両方とも高に又は両方とも低に設定される場合、何の電圧もそのＬＥＤに加わらず、そのＬＥＤはターンオンしない。個々のＬＥＤを制御するには、その列は低に、その行は高に設定される。一行内の複数のＬＥＤを制御するには、その行は高に設定され、それぞれの列はそれぞれのＬＥＤをターンオンするかどうかに応じて低又は高に設定される。この従来のＬＥＤアレイは、各ＬＥＤを独立制御できないため、ＬＥＤの任意のグループを同時にターンオンすることができない。すなわち、そのＬＥＤ制御は行及び列の設定に依存し、個々のＬＥＤに依存しない。例えば、この従来のＬＥＤアレイはアレイの対角方向に沿うＬＥＤをターンオンすることはできない。その理由は、これには行のすべてを低電圧に設定し、列のすべてを高電圧に設定する必要があるためであり、これは要望どおりに対角線に沿うＬＥＤのみをターンオンする代わりに、アレイ内のすべてのＬＥＤをターンオンする。

図５は、３×５行／列アドレスＬＥＤアレイを備えるＬＥＤアレイアセンブリ５０１の概略図である。本例では、ＬＥＤ回路は全行／列に沿ってのみＤＣ電圧／電流を制御するように設計されている。

従来のＬＥＤアレイ（例えば、ドットマトリクスディスプレイ又はチャーリープレックスディスプレイ）はＬＥＤアレイ内のＬＥＤの任意のグループをターンオンすることができないため、それらは所望のパターン内の各ＬＥＤを個別に極めて急速に（即ち、人の目の近似積分時間である３０ミリ秒以内に）ターンオンする。これはＬＥＤディスプレイの内容をユーザに表示するのに役立つが、多重照明のために、例えば試料を均等に照明するために各ＬＥＤから一定量の光パワーを時間をかけて供給するのに役立たない。

いくつかの態様では、多重フーリエタイコグラフィイメージングシステムは、試料から出る光を集光する結像レンズを備える。一般に、結像レンズは試料面のフーリエ面に置かれる。結像レンズは、例えばその開口数（ＮＡ）に基づく入射角の範囲内の光のみを受光する」対物レンズとし得る。一例では、結像レンズは約０．０８のＮＡを有する対物レンズである。別の例では、結像レンズは約０．０１から０．１の範囲内のＮＡを有する対物レンズである。

特定の態様では、多重フーリエタイコグラフィイメージングシステムは、等間隔の個別検出素子（例えば画素）の二次元格子を有する光検出器を備える。各露光時間中、光検出器は光子を収集し、収集した光子からの合計エネルギーを電位に積分し、この電位を各個別の光検出素子（例えば画素）における強度測定値として用いて一つの低分解能画像を構成する画像データを形成する。光検出器はサイクル中に個別光検出素子の格子により測定された強度分布の画像データからなる低分解能画像を有する信号を発生する。可視光放射が試料の照明に使用される場合には、光検出器は電荷結合デバイス（ＣＣＤ）、ＣＭＯＳイメージングセンサ、アバランシフォトダイオード（ＡＰＤ）アレイ、フォトダイオード（ＰＤ）アレイ、光電子増倍管（ＰＭＴ）アレイなどの形態にしてよい。テラヘルツ放射を使用する場合には、光検出器は、例えばイメージングボロメータとしてよい。Ｘ線放射を使用する場合には、光検出器は、例えばＸ線検出用ＣＣＤとしてよい。光検出器のこれらの例はカラー検出器、例えばＲＧＢ検出器としてもよい。他の態様では、光検出器はモノクロ検出器としてもよい。

特定の態様では、多重フーリエタイコグラフィイメージングシステムは、ＣＲＭに格納された命令を受信し、命令を実行してシステムの一以上の機能を実行する一以上のプロセッサ（例えば、マイクロプロセッサ）を備える。例えば、プロセッサはＣＲＭに格納された命令を実行して、１）画像データを解釈する、２）高分解能画像を再構成する、３）第１セットの低分解能画像データから第２セットの低分解能画像データを生成する、４）一以上の画像又は他の出力をディスプレイに表示するための表示データを供給する、５）ＬＥＤパターンのシーケンス、露光時間、ＬＥＤアレイ内のＬＥＤをＬＥＤパターンの形にターンオンする制御命令、及び／又はセクションＩＩに記載する多重フーリエタイコグラフィイメージング方法の一以上のステップ中に実行される他のステップ、のうちの一つ以上を実行する。プロセッサは一以上の電源に直接的に接続しても、他の装置を介して間接的に接続してもよい。一以上の電源はシステムの内部及び／又は外部にしてよい。

所定の態様では、多重フーリエタイコグラフィイメージングシステムは、制御信号をＬＥＤアレイ及び／又は光検出器に送信するプロセッサを備える。場合によっては、これらの制御信号はＬＥＤパターンのシーケンスの放射を第１セットの低分解能画像を取得するための露光時間と同期させる。例えば、プロセッサは、制御信号を命令ととともにＬＥＤ回路を介してＬＥＤアレイに送信してＬＥＤパターンのシーケンスを放射するとともに、制御信号を光検出器に送信してＬＥＤアレイがＬＥＤパターンのシーケンスによって照明される露光時間の間光子を受信させる。プロセッサは更に、画像取得中使用するＬＥＤパターンのシーケンス及び露光時間を決定する及び／又は光検出器により取得された第１セットの低分解能画像から高分解能画像を生成する。

特定の場合には、プロセッサはＬＥＤパターンのシーケンスを放射するために、制御信号をＬＥＤ回路を介してＬＥＤアレイに送信することができる。これらの場合には、コントローラは、シーケンスの各ＬＤＥパターンのＬＥＤをターンオンするために、ＬＥＤアレイ内のＬＥＤの任意の組み合わせを独立に制御することができる。プロセッサは、ＬＥＤパターンのシーケンスによる照明中に収集された第１セットの対分解能画像から高分解能画像を生成することもできる。

特定の態様では、多重フーリエタイコグラフィイメージングシステムは、一以上のプロセッサと通信するＣＲＭ（例えば、メモリ）を備え、データを受信し、ＣＲＭに格納されたデータを送信する。ＣＲＭは、システムのいくつかの機能を実行するための命令を格納するのに加えて、低分解能画像データ（第１セット及び第２セット）、高分解能画像データ、オペレータ又は他の主体からの入力、及びシステムで使用される他のデータも格納し得る。例えば、ＣＲＭは、所定のＳＮＲレベル及び／又は処理時間に対応する異なるＬＥＤパターンのシーケンス及び露光時間を格納し得る。他の例では、ＣＲＭは、ＬＥＤパターンのシーケンス及び／又は露光時間を特定の処理時間及び／又は特定のＳＮＲに基づいて計算する命令を格納し得る。代わりに、例えばアダマール多重を用いる場合には、ＣＲＭはルックアップテーブルを格納し得る。このルックアップテーブルは取得可能な複数の画像１〜Ｎのリストを含むことができ、ここでＮは１０００以上である。Ｎの各値に対して、ルックアップテーブルはＮ個の異なるＬＥＤパターンの一意のリスト（即ち、取得すべき各画像に対してＬＥＤアレイ内のどのＬＥＤをターンオンし、どのＬＥＤをオフのままにすべきかを示すリスト）を含む。ルックアップテーブルは取得すべき各画像に対する露光時間のリストを含んでもよい。

いくつかの態様では、多重フーリエタイコグラフィイメージングシステムは、プロセッサと通信し、画像表示用のデータ及び他の出力を受信して、例えばシステムのオペレータに提示するディスプレイを備える。このディスプレイはカラーディスプレイでも、白黒ディスプレイでもよい。更に、ディスプレイは二次元ディスプレイでも、三次元ディスプレイでもよい。一実施形態では、ディスプレイは複数のビューを表示し得るものとしてもよい。

いくつかの態様では、多重フーリエタイコグラフィイメージングシステムは入力インタフェースを備える。この入力インタフェースはシステムのオペレータからの入力を受信し得るデバイスを指す。例えば、入力インタフェースはキーボード、タッチスクリーン、マイクロフォンなどとし得る。

Ａ. ＬＥＤパターンのシーケンス

特定の態様では、多重フーリエタイコグラフィイメージングシステムは、ＬＥＤパターンのシーケンス内のＬＥＤアレイも複数のＬＥＤをターンオンするためにＬＥＤアレイアセンブリを用いる。各ＬＥＤパターンによる照明中に、システムは低分解能画像を取得する。ＬＥＤパターンは本明細書内の所定の例においてＮ個のＬＥＤ（Ｎ＝ｎ×ｎ）を有する方形ＬＥＤアレイに関して記載されているが、他のＬＥＤアレイを使用してもよい。

各サイクル中にＬＥＤのパターンを放射することによって、多重フーリエタイコグラフィイメージングシステムは、取得される各画像内で同じＳＮＲを維持しながら露光時間を低減することにより画像取得を従来の技術より著しく高速化し得る。方形ＬＥＤアレイを使用すると、例えば各画像の取得の露光時間（及び画像取得プロセスの合計持続時間）を、取得される各画像内の固定のＳＮＲに対して約sqrt(Ｎ)/２の因数で減少させることができ、ここでもＮはアレイ内のＬＥＤの数であり、sqrt()は平方根演算を示す。アダマール多重の理論から、正確な露光時間の減少率は［sqrt(Ｎ)+(１/sqrt(Ｎ)］/２であり、これは大きなＮに対して上記の近似値に近づき、ＳＮＲをもたらす主な雑音源は統計的に独立であり且つ付加的である。言い換えれば、システムが、ただ一つのＬＥＤをターンオンする場合に使用されているように、同じ画像露光時間を使用し得る場合には、多重化を使用し、雑音が独立で付加的であるとき、各検出画像の同じＳＮＲを約sqrt(Ｎ)/２倍だけ改善することができる。いくつかの態様では、システムはこの柔軟性を活用して、露光時間及びＬＥＤパターンを調整することによってシステムを処理時間とＳＮＲの特定の組み合わせに調整することができる。パターンに配列された照明ＬＥＤを用いて第１セットのＮ個の画像を取得した後に、システムはＮ個の画像の加重和演算を実行して、各取得時にただ一つのＬＥＤをターンオンするときに取得される画像に類似する第２セットの画像を生成する。

一般に、ＬＥＤパターンのシーケンスは一意のパターンを備える。殆どの場合、各ＬＥＤパターンは一度にターンオンされる少なくとも一つのＬＥＤを備える。一態様では、各ＬＥＤパターンは各画像取得中にアレイ内のＬＥＤの最高で半分までターンオンする。方形ＬＥＤアレイの場合には、各ＬＥＤパターンは各画像につきアレイ内のＬＥＤの最高でＮ／２までターンオンする。別の態様では、各ＬＥＤパターンは各取得画像につきアレイ内のＬＥＤの最高で４分の一までターンオンする。方形ＬＥＤアレイの場合には、各ＬＥＤパターンは各画像につきアレイ内のＬＥＤの最高でＮ／４までターンオンする。別の態様では、各ＬＥＤパターンは各取得画像につきアレイ内のＬＥＤの４分の一超をターンオンする。一般的に、多重化は一度に２以上のＬＥＤがターンオンされる必要がある。例えば、ＬＥＤパターンは一度に３Ｎ／４以下のＬＥＤがターンオンされる。

場合によっては、シーケンス内の一意のパターンの数はＬＥＤアレイ内で発光されるＬＥＤの数又は取得される画像の数により決まる。方形（ｎ×ｎ）ＬＥＤアレイを使用する一例では、一連のパターン内の一意のパターンの数はＮ（Ｎ＝ｎ×ｎ）である。シーケンス内の一意のパターンの数はＮであり、ＬＥＤパターンのシーケンスは相まってＮ×Ｎマトリクスを構成し、このマトリクスはＮの所定の値に対する正しいパターンセットを選択するルックアップテーブルとして格納し、適切にアクセス可能にし得る。一意のパターンの数は、アダマール符号の修正版を使用するとき（即ち、試料面における不均等照明、完全にターンオフしないＬＥＤ源又は結合出力を提供するＬＥＤ源が考慮されるかもしれないとき）、Ｎより少なくすることもできる。

一態様では、シーケンス内のＬＥＤパターンは「アダマール」符号とも称される「アダマール」パターンにより規定される。一次元ＬＥＤアレイ（ｎ×１）の場合には、シーケンス内の一意のパターンの数はｎであり、ＬＥＤパターンのシーケンスは相まって、長さｎの信号に対してｎ×ｎ「アダマール」マトリクスを構成する。

図６は、一実施形態に係わる、７×７ＬＥＤアレイに対する４９の異なる２Ｄアダマールパターンのシーケンスから選ばれた７つの２ＤアダマールＬＥＤパターンである。念のため、ｎ＝７で、Ｎ＝ｎ×ｎ＝４９である。図において、白項目はそのＬＥＤがオンであることを示し、黒項目はそのＬＥＤがオフであることを示す。

図７は、一次元ＬＥＤアレイ７１４によって照明されるＬＥＤパターンのシーケンスを示し、このシーケンスは多重フーリエタイコグラフィイメージングシステムで７つの低分解能画像を取得するために使用し得る。この特定の例では、ＬＥＤアレイ７１４は７個のＬＥＤを有し、７つの照明パターン７１０，７２０，７３０，７４０，７５０，７６０，７７０がシーケンス（Ｎ＝７）で使用される。この例は簡単のために一次元ＬＥＤアレイに基づいているが、パターンの拡張は二次元ＬＥＤアレイに対して直接得られる。それらの１Ｄカウンタパートから関連する２Ｄアダマールパターンを形成する一つの簡単な方法は、最初に値ｎ又はＬＥＤアレイの一次元に沿って使用されるＬＥＤの数に対してアダマールパターンを規定することにある。例えば、ｎ＝７の場合には、第１パターンに対して、ｓ＝［１１１０１００］、その後ｓ’＝［１１１-１１-１-１］を形成する。次に、ｓ'のそれ自身との外積を計算してｓ_2D’＝s'*s'を形成する。ここで、＊は外積を示す。ｓ_2D’はそのエントリに+1及び−１を含む７×７マトリクスである。最後に、関連する２Ｄパターンｓ_2Dはｓ_2D’内の−１であるすべてのエントリを０に設定し、＋１であるすべてのエントリを不変のままとすることによって見つけられる。

この例では、シーケンス内のパターンはベクトルｓ＝［１１１０１００］の巡回置換に基づくアダマールパターンである。ターンオンされる第１のＬＥＤパターン７１０はｓ（第１、第２、第３、第５及び第６ＬＥＤオン）と一致する。ターンオンされる第２のＬＥＤパターン７２０は右へ一つシフトされた［０１１１０１０］と一致する。第３のＬＥＤパターン７３０はさらに右へ一つシフトされた［００１１１０１］と一致する。第４のＬＥＤパターン７４０はさらに右へ一つシフトされた［１００１１１０］と一致する。第５のＬＥＤパターン７５０はさらに右へ一つシフトされた［０１００１１１］と一致する。第６のＬＥＤパターン７６０はさらに右へ一つシフトされた［１０１００１１］と一致する。第７のＬＥＤパターン７７０はさらに右へ一つシフトされた［１１０１００１］と一致する。二次元のＬＥＤアレイでパターンを表示する場合に、右へ一つずつシフトさせる上述の方法は、ＬＥＤの二次元パターンを右へ一列ずつ、下へ一行ずつ順次シフトさせるように一般化することができる。アダマールパターンを使用したが、他のｓベクトルの置換に基づく他のパターンを使用し得る。その第１の例はそのパターンをアダマールｓマトリクスの再配列版であるウォルシュマトリクスから得る。第２の例では、いくつかの応用において、ＬＥＤパターンを幾分ランダムに選択するのが有益であるかもしれない。上記の簡単な例のランダムシーケンスの一例は、［０１１００１０］，［０００１０１０］，［１１１０１０１］，［１０１１１００］，［０１００００１］，［１０１１１１００］，［０１０１００００］である。他の応用において、ＬＥＤパターンをアダマールシーケンスの微修正版として選択し、例えば中央の３つのエントリが常に残りの位置のＬＥＤより低い総合光パワーになるように選択するのが有利であるかもしれない。ベクトルｓ内のエントリが各ＬＥＤから放射される光パワーの量を示すものとすると、その例示的シーケンスは、第１パターンとしてｓ_１＝[１１.５０.５００]，ｓ_２＝「０１.５.５０１０］，ｓ_３＝「００.５.５.５０１］，ｓ_４＝「１００.５.５１０］，ｓ_５＝「０１００.５１１」，ｓ_６＝「１０.５００１１］，Ｓ_７＝「１１０.５００１」、が有利である。

多重フーリエタイコグラフィイメージングシステムは、図７に示す７つのＬＥＤパターンに基づく７つの低分解能画像Ｉ＝［Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４，Ｉ_５，Ｉ_６，Ｉ_７］の第１画像セットを取得した後、あたかもただ一つのＬＥＤがタ各画像取得中にーンオンされたかのような第２セットの低分解能画像を生成し得る。ここで、Ｉは各検出画像をその列の１つに含むマトリクスである。二次元画像の場合には、Ｉの各列は各二次元画像の一次元ベクトルへの再形成版を含む。

図８は、一実施形態に係わる、７つのＬＥＤを有する一次元ＬＥＤアレイ８１４による照明の概略図であり、本例では各画像取得中にただ一つのＬＥＤがターンオンされる。この図示の例では、ＬＥＤパターンのシーケンス８０１は照明パターン８１０，８２０，８３０，８４０，８５０，８６０，８７０を含み、これらのパターンは各画像取得時にアレイ内のただ一つのＬＥＤを順次にターンオンする。

システムが図７に示す７つのＬＥＤパターンに基づく７つの画像を取得した後、これらの画像を線形に結合して図８に示す照明パターンに基づく第２セットの画像を（同じ露光時間の間に）より低い雑音で再生成することができる。第２セットの低分解能画像を生成するために、多重フーリエタイコグラフィイメージングシステムは第１セットに対して加重和演算を実行する。一例では、システムは最初にＬＥＤアレイ次元と関連する結合ベクトルＲを決定することによって加重和演算を実行する。例えば、７つのＬＥＤを有する一次元ＬＥＤアレイに対して、結合ベクトルＲ＝［１１１-１１-１-１］/４である。次に、多重フーリエタイコグラフィイメージングシステムは行列積Ｌ_１＝ＩＲを決定する。Ｌ_１はＬＥＤアレイ内の第１ＬＥＤから形成された所望の画像である。丁度ｊ番目のＬＥＤがターンオンされた場合に形成される画像Ｌ_ｊは行列ＩとＲのｊ番目の循環置換との行列積として与えられる。

ＬＥＤのｓベクトル及びベクトルＲは種々の方法で決定される。一例では、ベクトルｓ及びＲは両方ともアダマール符号を用いて決定し得る。図４に示すＬＥＤパターンでは、例えば、ベクトルｓ及びＲは両方ともｎ＝７のアダマール符号を用いて決定される。アダマール符号の詳細は、Schechner, Y. Y., Nayar, S. K., and Belhumeur, P. N. "Multiplexing for optimal lighting," IEEE PAMI 27, 1339-1356 (2007)、に見られ、この文献はアダマール符号に関し参照することにより本明細書に含まれる。非加算的な雑音が存在する場合には、アダマール符号より他の方法が好ましいかもしれない。ＬＥＤの他のセット（即ち、ランダム結合）も有効な候補である。多重照明の一例は、Tian, L., Li, X., Ramchandran, K., Waller, L., "Multiplexed coded illumination for Fourier ptychography with an LED microscope," Biomedical Optics Express 5(7), pp. 2376-2389 (2014)、に見られ、この文献はこの例に関して参照することにより本明細書に含まれる。別の例はランダム照明シーケンスを使用することができ、この場合にはアレイ内のＬＥＤの約Ｎ/２が一画像ごとにターンオンされるが、これらＮ/２のＬＥＤはランダムに不均一に選択される。最後に、アレイ内のいくつかのＬＥＤをアレイ内の他のＬＥＤよりも明るくターンオンするのが有利であり得る。ベクトルｓ内のエントリが各ＬＥＤから放射される光パワーの量を示すものとすると、いくつかの実装では中央部のＬＥＤから放射される光パワーを縁部のＬＥＤから放射される光パワーより低く重み付けするのが有利であり得る。この場合には、その例示的シーケンスは、第１パターンとしてｓ_１＝[１１.５０.５００]，ｓ_２＝「０１.５.５０１０］，ｓ_３＝「００.５.５.５０１］，ｓ_４＝「１００.５.５１０］，ｓ_５＝「０１００.５１１」，ｓ_６＝「１０.５００１１］，Ｓ_７＝「１１０.５００１」である。ここでは、中央の３つのＬＥＤは側部のＬＥＤより低い光パワーのままである。

多くの態様では、ＬＥＤパターンのシーケンス内の各ＬＥＤパターンはＬＥＤアレイ内のＬＥＤの総数の半数以上のＬＥＤを含む。一例では、ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの数の半分である。別の例では、ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの総数の半分より多い。別の例では、ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの総数の５５％超である。別の例では、ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの総数の６０％超である。別の例では、ＬＥＤパターンのシーケンスの各ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの総数の半分以上である。別の例では、ＬＥＤパターンのシーケンスの各ＬＥＤパターン内のＬＥＤの数はＬＥＤアレイ内のＬＥＤの総数の５０％〜７０％の範囲内である。

一般に、ＬＥＤパターンのシーケンス内の各ＬＥＤパターンは発光されるＬＥＤの一意の配列である。画像取得中に、各ＬＥＤパターンが露光時間中発光され、その間光検出器は光子を受信して低分解能画像を取得する。ＬＥＤパターンはベクトルｓの所定の順列に基づくものとし得る。他の例では、ＬＥＤパターンはＬＥＤのランダムな組み合わせとし得る。この場合には、ＬＥＤパターンは、例えば乱数発生出力に基づくものとし得る。

Ｂ．調整可能な処理時間及び／又はＳＮＲ

特定の態様では、多重フーリエタイコグラフィイメージングシステムは規定値より低い処理速度及び／又は規定値より高い最小ＳＮＲで動作するように調整することができる。一部の例では、システムは、例えば多重フーリエタイコグラフィイメージングシステムのオペレータから受信される最大処理時間及び／又は最小ＳＮＲレベルの調整入力に基づいて調整される。一般的にオペレータは一人もしくは複数の人を指すが、オペレータは高分解能データを受信し、調整入力を出力するプログラムとしてもよい。一例では、調整入力は、例えば外部インタフェースなどのインタフェースを介してオペレータにより入力される。一般に、処理時間はサイクル中に低分解能画像を取得する持続時間をいう。

ＬＥＤパターンを決定するために、システムは最初に、最小のＳＮＲを得るためにＬＥＤパターンに必要とされるＬＥＤの数を決定することができる。例えば、プロセッサは、一定の露光時間に対して各ＬＥＤパターンで使用するＬＥＤの数を最小ＳＮＲ値に基づいて決定することができる。上述したように、方形ＬＥＤアレイを使用する場合には、方形ＬＥＤアレイ内のＮ個のＬＥＤが発光するとき、画像のＳＮＲはｓｑｒｔ(Ｎ)/２倍だけ向上する。アレイ内のただ一つのＬＥＤによる照明に対する既知のＳＮＲ値（ＳＮＲ_０）を用いると、プロセッサは各パターンで使用するＬＥＤの数をＳＮＲ_０/ｓｑｒｔ(Ｎ)/２として決定することができる。ＬＥＤの数が選択された時点で、ＬＥＤパターンを種々の技術に基づいて選択することができる。一例では、ＬＥＤパターンはランダムに生成される一意のパターンとし得る。別の例では、ＬＥＤパターンは種々のベクトルの順列に基づくものとし得る。一例では、ＬＥＤパターンはアダマール符号の順列に基づくものとし得る。

多重フーリエタイコグラフィイメージングシステムには、本開示の範囲から逸脱することなく多くの変更や付加や省略が可能である。更に、多重フーリエタイコグラフィイメージングシステムの構成要素は統合しても分離してもよい。

II. 多重フーリエタイコグラフィイメージング方法

図９は、本発明に係わる多重フーリエタイコグラフィイメージング方法のフローチャートである。９１０において、多重フーリエタイコグラフィイメージング方法はその第１サイクルを開始する。各サイクル中に取得される低分解能画像の数Ｎはアレイ内の照明用ＬＥＤの数に等しい。この方法の説明において、方形アレイが使用され、照明用ＬＥＤの数はＮ＝ｎ×ｎである。

ステップ９２０において、ＬＥＤパターンのシーケンス及び露光時間がサイクルの一以上のステップで使用するために決定される。一例では、同じＬＥＤパターンのシーケンス及び／又は露光時間が前サイクルから使用される。

一部の例では、プロセッサはサイクルで使用するパターン内のＬＥＤの数を決定する。一態様では、各ＬＥＤパターンはアレイ内のＬＥＤの最大で半分までを使用する。別の態様では、各ＬＥＤパターンはアレイ内のＬＥＤの最大で１／４までを使用する。更に別の態様では、プロセッサは、一定の露光時間及び特定のＳＮＲ値に基づいて各ＬＥＤパターンで使用するＬＥＤの数を決定し得る。即ち、方形ＬＥＤアレイを使用する場合には、方形アレイ内のＮ個のＬＥＤが発光するとき、画像のＳＮＲはｓｑｒｔ(Ｎ)/２倍に向上する。ただ一つのＬＥＤによる照明に対する既知のＳＮＲ値（ＳＮＲ_０）を用いると、プロセッサは各パターンで使用するＬＥＤの数をＳＮＲ_０/ｓｑｒｔ(Ｎ)/２として決定することができる。

一部の態様では、プロセッサは次に、最大処理時間及び一定のＳＮＲ値に基づいて使用する露光時間を決定する。プロセッサは、(処理時間)/(取得画像の数Ｎ)に基づいて露光時間を決定することができる。

一部の例では、処理時間及び／又はＳＮＲの特定の値はオペレータ又は他の主体から調整可能な入力として与えられてもよい。例えば、処理時間の値はオペレータにより入力された最大処理時間としても、及び／又は、ＳＮＲの値はオペレータにより入力された最小ＳＮＲ値としてもよい。

ＬＥＤの数が選択された時点で、ＬＥＤパターンを種々の技術に基づいて選択することができる。一例では、ＬＥＤパターンはランダムに生成される一意のパターンとし得る。別の例では、パターンは種々のベクトルの順列に基づくものとし得る。一例では、ＬＥＤパターンはアダマール符号の順列に基づくものとし得る。

ＬＥＤパターンのシーケンス及び露光時間がステップ９２０で決定された時点で、方法は関心試料をＬＥＤパターンのシーケンスで照明する。プロセッサは制御信号を光検出器及びＬＥＤアレイの両方に送信して画像取得をＬＥＤパターンによる照明と同期させる。この画像取得プロセス中に、第１セットのＮ個の低分解能強度測定値Ｉ＝［Ｉ_１，Ｉ_２，．．，Ｉ_Ｎ］を光検出器で取得する（ステップ９４０）。この第１セットの低分解能画像を抽出するために図１−３につき説明した画像収集アセンブリの何れかを使用し得る。

ステップ９５０において、本方法は第２セットの低分解能強度測定値を発生させる。第２セットの画像は各取得時にただ一つのＬＥＤがオンであるときに取得されるものと同類である。第２セットを生成するために、第１セットに対して加重和演算が実行される。一例では、システムは、最初にＬＥＤアレイ次元と関連するベクトルＲ_ｉを決定することにより加重和演算を実行する。次に、多重フーリエタイコグラフィイメージングシステムは行列積Ｌ_ｉ＝ＩＲ_ｉを決定する。Ｌ_１はＬＥＤアレイ内の第１番ＬＥＤから形成される所望の画像である。丁度第ｊ番ＬＥＤがターンオンされた場合に形成される画像Ｌ_ｊは、各検出画像をその列に含む画像行列ＩとＲのｉ番の循環置換（結合ベクトルＲとみなす）との間の行列として与えられる。２Ｄ検出器上に画像を形成するために２Ｄパターンを表示する２ＤＬＥＤアレイに対して、加重和を同様に働かせるが、最初に、各ｎ×ｎの組み合わせ行列（ＩＤ組み合わせベクトルＲ_ｉがそれらの関連ＩＤＬＥＤパターンｓ_ｉに接続されるのと同様に、各２ＤＬＥＤパターンに接続される）を１×ｎ^２ベクトルに再形成するとともに、各ｎ×ｍ行列（２Ｄ画像を表す）１×ｍ^２ベクトルＩ_ｉに再形成することによって、２Ｄ組み合わせパターン及び２Ｄ画像をベクトルに変える必要がある。これは、上と同様に、各２Ｄ組み合わせパターンをＩＤベクトルＲ_ｉとして表現し、ＩＤパターン及び画像の場合と同様に、各再形成画像Ｉ_ｉをその各列に含む画像データ行列Ｉを形成し得る。

ステップ９６０において、本方法は、第２セットの低分解能強度測定値をフーリエ空間内で反復的に結合することによって高分解能画像を再構成する。再構成プロセスの２つの動作例を図９及び図１０を参照して次の節で詳細に記載する。図に示されていないが、ステップ９６０後に、本方法は例えば高分解能画像等の出力をディスプレイに提示する任意選択のディスプレイステップを含み得る。

ステップ９７０において、本方法は別のサイクルがあるかどうか決定する。別のサイクルがある（ＹＥＳ）場合、方法はステップ９２０に戻る。別のサイクルがない場合（ＮＯ）、方法は終了する(ステップ９８０)。

再構成プロセス

再構成プロセスの特定の詳細は、Zheng, Guoan, Horstmeyer, Roarke, and Yang, Changhuei, "Wide-field, high-resolution Fourier ptychographic microscopy," Nature Photonics vol. 7, pp. 739-745 (2013)及び米国特許出願１４／０６５，２８０，発明の名称 "Fourier Ptychographic Imaging Systems, Devices, and Methods" and 出願日：２０１３年１０月２８日、に見られる。再構成動作中に、高分解能画像を生成するためにフーリエ領域内の重複領域は低分解能強度画像で反復的に更新される。

図１０は、図９のステップ９５０で生成された第２セットのＮ個の低分解能強度分布測定値Ｉ_Im(kⁱ _x，kⁱ _y)（それらの照明波動ベクトルkⁱ _x, kⁱ _yでインデックスされ、ｉ＝１，２，．．．Ｎである）から計算的に再構成され得る。
図１０は一実施形態に係わる再構成プロセスのフローチャートである。このプロセスでは、試料の高分解能画像は図９のステップ９５０で生成された第２セットのＮ個の低分解能強度分布測定値Ｉ_Im(kⁱ _x，kⁱ _y)（それらの照明波動ベクトルkⁱ _x, kⁱ _yでインデックスされ、ｉ＝１，２，．．．Ｎである）から計算的に再構成され得る。

１５１０、１５２０．１５３０，１５４０，１５５０，１５６０及び１５７０の反復処理ステップにおいて、多重フーリエタイコグラフィイメージングシステムのプロセッサを用いて、低分解能強度測定値をフーリエ空間内で反復的に重ね合わせることによって試料の高分解能画像が計算的に再構成される。任意選択のステップ１５２０及び１５４０は、試料がｚ_０だけ焦点外れである場合に実行し得る。

ステップ１５６０において、ステップ１５１０〜１５６０が第２セットの画像内のすべての画像に対して完了したかを決定する。もしステップ１５１０〜１５６０がすべての画像に対して完了していなければ、次の画像に対してステップ１５１０〜１５６０が繰り返えされる。

図１１は一実施形態に係る再構成プロセスのフローチャートである。このプロセスでは、試料の高分解能画像は図９のステップ９５０で生成された第２セットのＮ個の低分解能強度分布測定値Ｉ_Im(kⁱ _x，kⁱ _y)（それらの照明波動ベクトルkⁱ _x, kⁱ _yでインデックスされ、ｉ＝１，２，．．．Ｎである）から計算的に再構成され得る。

１６０５、１６１０、１６２０．１６３０、１６４０、１６５０、１５６６０及び１６７０の反復処理ステップにおいて、多重フーリエタイコグラフィイメージングシステムのプロセッサを用いて、低分解能強度測定値をフーリエ空間内で反復して重ね合わせることによって試料の高分解能画像が計算的に再構成される。

ステップ１６６０において、ステップ１６０５〜１６５０が第２セットの画像内のすべての画像に対して完了したかを決定する。もしステップ１６０５〜１６５０がすべての画像に対して完了していなければ、次の画像に対してステップ１６０５〜１６５０が繰り返えされる。

いくつかの態様では、第２セットの各画像につき反復的に更新されるフーリエ空間内の隣接領域は互いに重複する。更新される重複領域間の重複部分において、多重フーリエタイコグラフィイメージングシステムは、同じフーリエ空間に多重サンプリングを有する。一実施形態では、隣接領域間の重複部分は隣接領域の一方の面積の２％〜９９．５％の面積を有してもよい。別の実施形態では、隣接領域間の重複領域は、隣接領域の一方の面積の６５％〜７５％の面積を有してもよい。別の実施形態では、隣接領域間の重複領域は、隣接領域の一方の面積の約６５％の面積を有してもよい。

IV. サブシステム

図１２は、いくつかの実施形態に係わる多重フーリエタイコグラフィイメージングシステムに存在し得る一以上のサブシステムのブロック図である。

前述した図中の種々の構成要素は、本明細書に記載の機能を促進するために、図１２のサブシステムの１つ以上を用いて動作させることができる。図中の構成要素のいずれも、本明細書に記載の機能を促進するために、任意の適切な数のサブシステムを用いることができる。このようなサブシステムおよび／または構成要素の例を、図１２に示す。図１２に示すサブシステムは、システムバス２４２５を介して相互接続される。プリンタ２４３０、キーボード２４３２、固定ディスク２４３４（またはコンピュータ可読媒体を含む他のメモリ）、ディスプレイアダプタ２４３８に連結されたディスプレイ２５５６他等の付加的なサブシステムが図示されている。Ｉ／Ｏコントローラ２４４０に結合される周辺装置や入出力（Ｉ／Ｏ）装置は、シリアルポート２４４２等、任意の数の周知手段によって接続し得る。例えば、シリアルポート２４４２または外部インタフェース２４４４を用いて、コンピュータ装置２００をインターネット等の広域ネットワークや、マウス入力装置や、スキャナに接続することができる。システムバス２４２５を介した相互接続によって、プロセッサは、各サブシステムと通信して、サブシステム間の情報交換と共に、システムメモリ２４４６や固定ディスク２４３４からの命令の実行を制御できる。システムメモリ２４４６および／または固定ディスク２４３４は、場合によって、ＣＲＭ１４６に統合し得る。これらの要素はいずれも、前述の特徴に存在し得る。

いくつかの実施形態において、多重フーリエタイコグラフィイメージングシステムのプリンタ２４３０やディスプレイ８３０等の出力装置は、種々の形態のデータを出力可能である。例えば、多重フーリエタイコグラフィイメージングシステムは、２Ｄカラー／単色画像（強度及び／又は位相）や、これらの画像と関連するデータや、多重フーリエタイコグラフィイメージングシステムによって行われた分析と関連する他のデータを出力することができる。

本開示の範囲を逸脱することなしに、上述した実施形態のいずれにも、変形、追加又は省略を行うことができる。本開示の範囲を逸脱することなしに、上述した実施形態のいずれも、より多数の特徴、より少数の特徴、あるいは他の特徴を含むことができる。これに加えて、本開示の範囲を逸脱することなしに、上述した特徴のステップは、任意の適切な順序で実行することができる。

上述した本発明は、コンピュータソフトウェアをモジュール様式または統合様式で用いる制御論理回路の形式で実現することができる。本明細書で提供される開示及び教示に基づいて、当業者は、ハードウェアおよびハードウェアとソフトウェアとの組合せを用いて本発明を実現する他のやり方および／または方法を知り、認識することができる。

本願中に記載したあらゆるソフトウェア構成要素または機能は、プロセッサによって、任意の適切なコンピュータ言語（例えば通常またはオブジェクト指向技術を用いるＪａｖａ、Ｃ＋＋、Ｐｅｒｌ等）を用いて実行されるソフトウェアコードとして実現することができる。これらのソフトウェアコードは、一連の命令またはコマンドとしてＣＲＭに記憶することができ、ＣＲＭは、例えば、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ハードドライブやフロッピーディスク等の磁気媒体、あるいはＣＤ−ＲＯＭ等の光媒体である。こうしたＣＲＭはいずれも、単一のコンピュータ装置上または装置内に存在することができ、システムまたはネットワーク内の異なるコンピュータ装置上または装置内に存在することができる。

以上に開示した実施形態は、理解を促進するためにある程度詳細に説明してきたが、説明した実施形態は、例示的なものであり限定的なものではない。添付した特許請求の範囲内で、一定の変更及び変形を実施することができることは、当業者にとって明らかであろう。

本開示の範囲を逸脱することなしに、任意の実施形態からの１つ以上の特徴を、他の実施形態の１つ以上の特徴と組み合わせてもよい。さらに、本開示の範囲を逸脱することなしに、実施形態のいずれにも、変形、追加、または省略を行うことができる。本開示の範囲を逸脱することなしに、任意の実施形態の構成要素を、特定の必要に応じて、統合または分離してもよい。

Claims (18)

1. 多重フーリエタイコグラフィイメージングシステムであって、
   ＬＥＤパターンのシーケンスを放射するよう構成され且つ撮像する試料を照明するように配置されたＬＥＤアレイと、
   前記ＬＥＤアレイと電気的に通信して電力を独立に制御し、各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするように構成されたＬＥＤ回路と、
   照射された試料から出る光を収集するように構成されたレンズと、
   前記レンズからの光を受光し、前記ＬＥＤパターンのシーケンスと関連する第１セットの低分解能画像を取得するよう構成された光検出器であって、各低分解能画像は露光時間中に受光された光に基づくものである、光検出器と、
   前記第１セットの低分解能画像を用いて前記ＬＥＤアレイ内の各ＬＥＤと関連する第２セットの低分解能画像を生成し、フーリエ領域内の重複部分を前記第２セットの低分解能画像で反復的に更新して高分解能画像を生成するように構成されたプロセッサと、
   を備える、多重フーリエタイコグラフィイメージングシステム。
2. 前記プロセッサは更に、各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするために、前記ＬＥＤ回路を介して制御信号を前記ＬＥＤアレイに送信するように構成されている、請求項１記載の多重フーリエタイコグラフィイメージングシステム。
3. 前記ＬＥＤ回路は、前記ＬＥＤアレイ内の各ＬＥＤから前記プロセッサの制御論理回路に至る配線を備える、請求項１記載の多重フーリエタイコグラフィイメージングシステム。
4. 前記プロセッサは更に、前記ＬＥＤパターンのシーケンス及び前記露光時間を決定するように構成されている、請求項１記載の多重フーリエタイコグラフィイメージングシステム。
5. 前記ＬＥＤパターン及び前記露光時間は調整入力に基づいて決定される、請求項４記載の多重フーリエタイコグラフィイメージングシステム。
6. 前記調整入力は前記フーリエタイコグラフィイメージングシステムのオペレータから受信され、前記調整入力は動作時に前記フーリエタイコグラフィイメージングシステムの処理時間を調整するために前記オペレータが供給する、請求項５記載の多重フーリエタイコグラフィイメージングシステム。
7. 前記プロセッサは、最大処理時間及び最小ＳＮＲの何れか一方又は両方に基づいて前記ＬＥＤパターンのシーケンス及び前記露光時間を決定する、請求項４記載の多重フーリエタイコグラフィイメージングシステム。
8. 前記シーケンス内の各ＬＥＤパターンはアダマールパターンである、請求項１記載の多重フーリエタイコグラフィイメージングシステム。
9. 各ＬＥＤパターンは、前記ＬＥＤアレイ内のＬＥＤの総数の半分以上の数のＬＥＤを有する、請求項８記載の多重フーリエタイコグラフィイメージングシステム。
10. 多重フーリエタイコグラフィイメージングシステム内のＬＥＤアレイアセンブリであって、
    ＬＥＤパターンのシーケンスを放射するよう構成され且つ撮像する試料を照射するように配置されたＬＥＤアレイと、
    前記ＬＥＤアレイと電気的に通信して電力を独立に制御し、各ＬＥＤパターン内の複数のＬＥＤを同時にターンオンするように構成されたＬＥＤ回路と、
    を備える、ＬＥＤアレイアセンブリ。
11. 前記ＬＥＤアレイは、前記ＬＥＤパターンのシーケンスを放射するためにコントローラから前記ＬＥＤ回路を介して制御信号を受信する、請求項１０記載のＬＥＤアレイアセンブリ。
12. 前記ＬＥＤ回路は、前記ＬＥＤアレイ内の各ＬＥＤからプロセッサの制御論理回路に至る配線を備える、請求項１１記載の多重フーリエタイコグラフィイメージングシステム。
13. 前記ＬＥＤパターンのシーケンスを放射する前記制御信号は、最大処理時間及び最小ＳＮＲの何れか一方又は両方の調整入力に基づいている、請求項１１記載のＬＥＤアレイアセンブリ。
14. 試料をＬＥＤパターンのシーケンスで多重照明するステップと、
    レンズを用いて前記試料から出る光を集光するステップと、
    前記レンズからの光を受光する光検出器を用いて前記試料の第１セットの低分解能画像を取得するステップであって、各低分解能画像は前記ＬＥＤパターンの一つが照明される間の露光時間中に取得される、ステップと、
    前記第１セットの低分解能画像を用いて前記試料の第２セットの低分解能画像を生成するステップであって、前記第２セットの各低分解能画像は前記ＬＥＤパターン内の一つのＬＥＤと関連するものである、ステップと、
    フーリエ空間内の重複領域を前記第２セットの低分解能画像で反復的に更新することによって前記試料の高分解能画像を再構成するステップと、
    を備える、多重フーリエタイコグラフィイメージング方法。
15. 前記ＬＥＤパターン及び前記露光時間を処理時間に基づいて選択するステップを更に備える、請求項１４記載の多重フーリエタイコグラフィイメージング方法。
16. オペレータから、処理時間を含む又は処理時間に関連する調整入力を受信するステップを更に備える、請求項１５記載の多重フーリエタイコグラフィイメージング方法。
17. 前記試料をＬＥＤパターンのシーケンスで多重照明するステップは、前記シーケンスの各ＬＥＤパターンの各ＬＥＤを独立にターンオンするために制御信号をＬＥＤアレイで受信するステップを備える、請求項１４記載の多重フーリエタイコグラフィイメージング方法。
18. 前記ＬＥＤパターン及び前記露光時間を選択するステップは、前記ＬＥＤパターンのシーケンスを放射するＬＥＤアレイに制御信号を送信する命令を選択するステップを備える、請求項１４記載の多重フーリエタイコグラフィイメージング方法。