JP2021515255A - 構造化照明パラメータの予測 - Google Patents

Abstract

本開示の実施形態は、構造化照明システムによって捕捉された構造化照明画像から得られた構造化照明パラメータの推定値を使用して、時間、空間、および/または温度における特定の点について構造化照明パラメータを予測することを対象とする。特定の実施形態は、構造化照明周波数、位相、配向、および/または変調次数パラメータを予測することを対象とする。【選択図】図１Ａ

Description

関連出願の相互参照

本出願は、2018年6月29日に出願され、発明の名称が「構造化照明パラメータの予測」である、米国仮特許出願第62/692,303号の利益を主張する。

構造化照明顕微鏡法(SIM)は空間的に構造化された(すなわち、パターン化された)光を用いて試料を撮像し、顕微鏡の横方向分解能を2倍以上増大できる技術を表現する。ある例では、試料の撮像中に、試料の干渉縞パターンの3つの画像が種々のパターン位相(例えば、0°、120°及び240°)で取得され、その結果、試料上の各箇所は一定範囲の照度に曝され、その行為はパターンの配向を、光軸を中心に3つの別々の角度(例えば、0°、60°及び120°)に回転させることによって繰り返される。捕捉された画像(例えば、9つの画像)は拡張された空間周波数帯域幅を有する単一の画像に組み立てられてもよく、これは実空間に再変換されて、従来の顕微鏡によって捕捉されたものよりも高い分解能を有する画像を生成してもよい。

現在のSIMシステムの幾つかの実施形態では、直線偏光ビームが撮像される試料上で、結み合わされ、正弦波強度変動を有する干渉縞模様として投影され得る2つ以上の別々の次数にビームを分割する光ビームスプリッタを通って方向付けられる。回折格子は、高いコヒーレンス度と安定した伝搬角度を持つビームを生成できるビームスプリッタの例である。このような2つのビームを組み合わせるときに、それらの間の干渉は均一で規則的に繰り返される縞模様を作り出すことができ、そこでは、間隔は干渉ビーム間の角度を含む要因によって決定される。

拡大された空間周波数帯域幅を有する単一画像への画像の捕捉および/またはその後の組立てまたは再構成中に、以下の構造化照明パラメータ、すなわち、隣接する縞間の間隔(すなわち、縞模様の周波数)、構造化照明パターンの位相または角度、および照明された試料に対する縞模様の配向を考慮する必要があり得る。理想的な撮像システムでは、機械的不安定性および熱的変動のような要因に左右されず、これらのパラメータの各々は時間の経過とともにドリフトまたはさもなければ変化せず、所与の画像サンプルに関連する正確なSIM周波数、位相、および配向パラメータは既知であろう。しかしながら、励起ビーム経路の機械的不安定性および/または撮像された試料の熱膨張/収縮などの要因のために、これらのパラメータは、時間とともにドリフトするか、そうでなければ変化し得る。

このように、SIM撮像システムは、構造化された照明パラメータを推定して、それらの経時的な変動を考慮する必要がある場合がある。多くのSIM撮像システムはリアルタイムでSIM画像処理を実行しない(例えば、オフラインで取り込まれた画像を処理する)ので、そのようなSIMシステムは、SIM画像を処理してその画像の構造化照明パラメータを推定するためにかなりの量の計算時間を費やすことがある。

本開示の実施形態は、構造化照明システムによって取り込まれた構造化照明画像から捕捉された構造化照明パラメータの推定値を使用して、時間点、空間、および/または温度における特定の点について構造化照明パラメータを予測することを対象とする。

一例では、方法は、構造化照明システムを使用して、試料の第１画像を捕捉するステップと、コンピューティングデバイスを使用して、少なくとも捕捉された第１画像を用いて第１構造化照明パラメータを推定するステップと、構造化照明システムを使用して、試料の第２画像を捕捉するステップと、コンピューティングデバイスを使用して、少なくとも捕捉された第２画像を用いて第２構造化照明パラメータを推定するステップと、コンピューティングデバイスを使用して、少なくとも第１構造化照明パラメータ又は第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測するステップと、を含む。第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照明パラメータのそれぞれは、位相、周波数、配向又は変調次数を含むことができる。

ある実施形態では、第１画像は、第１時間に捕捉され、第２画像は、第１時間の後の第２時間に捕捉され、第３画像は、第１時間と第２時間との間の第３時間に捕捉され、第３構造化照明パラメータは、少なくとも内挿法を用いることによって第３時間に予測される。内挿法は、コンピューティングデバイスを使用して、第１時間における第１構造化照明パラメータから、第２時間における第２構造化照明パラメータまでの変化率を決めるステップと、コンピューティングデバイスを使用して、少なくとも決められた変化率を用いて、第３時間における第３構造化照明パラメータを予測するステップを含むことができる。

ある実施形態では、方法は、コンピューティングデバイスを使用して、少なくとも第３画像及び第３構造化照明パラメータを用いて高分解能画像を構築するステップを更に含む。

ある実施形態では、第１画像は、第１時間に捕捉され、第２画像は、第１時間の後の第２時間に捕捉され、第３画像は、第１時間及び第２時間の両方の前又は後の第３時間に捕捉され、第３構造化照明パラメータは、少なくとも外挿法を用いることによって第３時間に予測される。

ある実施形態では、方法は、少なくとも第３構造化照明パラメータを用いて、構造化照明システムのハードウェアコンポーネントを調整して、第３時間において第３画像を捕捉する前の構造化照明システムパラメータの変化に対して補償するステップを更に含む。ハードウェアコンポーネントを調整するステップは、構造化照明パターンの位相又は配向を調整する回転ミラーを調節すること、回折格子を担持し構造化照明パターンの位相又は配向を調整する並進ステージを調節すること、及び構造化照明パターンの位相又は配向を調整する試料並進ステージを調節すること、の１つ以上を含むことができる。

ある実施形態では、方法は、構造化照明システムのメモリに、第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照明パラメータを記憶するステップと、記憶される第１構造化照明パラメータ、記憶される第２構造化照明パラメータ、記憶される第３構造化照明パラメータ、及び構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させるステップと、
を更に含む。

ある実施形態では、第３画像に対応する第３構造化照明パラメータを予測するステップは、最小二乗適合を少なくとも第１構造化照明パラメータ及び第２構造化照明パラメータに適用することを含む。ある実施形態では、第３画像に対応する第３構造化照明パラメータを予測するステップは、第２構造化照明パラメータを用いることを含む。

ある実施形態では、試料の第１画像は第１試料温度で捕捉され、第１構造化照明パラメータは第１試料温度で推定され、試料の第２画像は第２試料温度で捕捉され、第２構造化照明パラメータは第２試料温度で推定され、第３構造化照明パラメータは第３試料温度で予測される。

ある実施形態では、方法は、試料の第１画像を複数の画像サブセクションに分割するステップと、コンピューティングデバイスを使用して、少なくとも複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、コンピューティングデバイスを使用して、少なくとも複数の画像サブセクションの第２画像サブセクションを用いて第５構造化照明パラメータを推定するステップと、コンピューティングデバイスを使用して、少なくとも第４構造化照明パラメータ又は第５構造化照明パラメータを用いて、複数の画像サブセクションの第３画像サブセクションに対応する第６構造化照明パラメータを予測するステップと、を更に含む。

ある実施形態では、試料の第１画像を複数の画像サブセクションに分割するステップと、コンピューティングデバイスを使用して、少なくとも複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、推定される第４構造化照明パラメータを、複数の画像サブセクションの第２画像サブセクションの予測される構造化照明パラメータとして用いるステップと、を更に含む。

ある実施形態では、非一時的なコンピュータ読取可能媒体は、非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有することができ、命令はプロセッサによって実行されるときに、プロセッサに、構造化照明システムを使用して試料の第１画像を捕捉する動作と、少なくとも捕捉される第１画像を用いて第１構造化照明パラメータを推定する動作と、構造化照明システムを使用して試料の第２画像を捕捉する動作と、少なくとも捕捉される第２画像を用いて第２構造化照明パラメータを推定する動作と、少なくとも第１構造化照明パラメータ又は第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測する動作と、を実施させる。

ある実施形態では、第１画像は、第１試料位置で捕捉され、第２画像は、第２試料位置で捕捉され、第３画像は、第１試料位置と第２試料位置との間の第３試料位置で捕捉され、第３構造化照明パラメータは、少なくとも内挿法を用いることによって第３試料位置で予測される。内挿法は、コンピューティングデバイスを使用して、第１試料位置における第１構造化照明パラメータから、第２試料位置における第２構造化照明パラメータまでの変化率を決めるステップと、少なくとも決められた変化率を用いて、第３試料位置における第３構造化照明パラメータを予測するステップと、を含むことができる。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、少なくとも第３画像及び第３構造化照明パラメータを用いて高分解能画像を構築する動作を更に実施させる。

ある実施形態では、第３試料位置は、第１試料位置及び第２試料位置の後に存在し、
第３構造化照明パラメータは、少なくとも外挿法を用いることによって第３試料位置で予測される。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、更に少なくとも第３構造化照明パラメータを用いて、構造化照明システムのハードウェアコンポーネントを、第３試料位置において画像を捕捉する前の、構造化照明パラメータの変化に対して補償するように調整させる動作を行わせる。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、構造化照明システムのメモリに、第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照明パラメータを記憶する動作と、記憶される第１構造化照明、記憶される第２構造化照明パラメータ、記憶される第３構造化照明パラメータ、及び構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させる動作と、を更に実施させる。

ある例では、構造化照明システムは、光を放出する発光体と、発光体が放出する光を分割して構造化照明パターンを試料の面に投影するビームスプリッタと、プロセッサと、非一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、命令はプロセッサによって実行されるときに、プロセッサに、試料の第１画像を捕捉する動作と、少なくとも捕捉される第１画像を用いて第１構造化照明パラメータを推定する動作と、試料の第２画像を捕捉する動作と、少なくとも捕捉される第２画像を用いて第２構造化照明パラメータを推定する動作と、少なくとも第１構造化照明パラメータ又は第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測する動作と、
を実施させる、非一時的なコンピュータ読取可能媒体と、を備える。

ある例では、方法は、構造化照明システムを使用して、試料の第１の複数画像を捕捉するステップと、コンピューティングデバイスを使用して、少なくとも捕捉される第１の複数画像を用いて第１構造化照明パラメータを推定するステップと、構造化照明システムを使用して、試料の第２の複数画像を捕捉するステップと、コンピューティングデバイスを使用して、少なくとも捕捉される第２の複数画像を用いて第２構造化照明パラメータを推定するステップと、コンピューティングデバイスを使用して、少なくとも第１構造化照明パラメータ又は第２構造化照明パラメータを用いて、１つ以上の画像に対応する第３構造化照明パラメータを予測するステップと、を含む。

開示された技術の他の構成及び態様は、例として、開示された技術の実施形態による構成を示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。この概要は、特許請求の範囲及び均等物によって定められる、本明細書に記載される任意の発明の範囲を限定することを意図しない。

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開示の末尾にある特許請求の範囲の主題のすべての組み合わせは、本明細書に開示される本発明の主題の一部であると考えられる。

一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る周波数の望ましくない変化を示す図である。 一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る位相の望ましくない変化を示す図である。 一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る配向の望ましくない変化を示す図である。 一例において、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を実施することができるSIM撮像システムを示す図である。 本明細書で説明されるいくつかの実施形態による、構造化照明パラメータ予測を実施することができる2アームSIM撮像システムの例示的な光学構成を示す光学図である。 一例において、構造化光を使用して高解像度画像を生成するために、1つの撮像サイクルの間に、図3のSIM撮像システムの垂直格子および水平格子によって、試料の平面上に投影され得る単純化された照明縞模様を示す図である。 本明細書に記載されるいくつかの実装に従って、構造化照明パラメータ予測を実装することができるデュアル光学回折格子スライドSIM撮像システムの一例の光学構成を示す模式図である。 本明細書に記載されるいくつかの実装に従って、構造化照明パラメータ予測を実装することができるデュアル光学回折格子スライドSIM撮像システムの一例の光学構成を示す模式図である。 一例において、図5A〜5BのSIM撮像システムの第1の回折格子及び第2の回折格子によって、構造化照明撮像サイクルに対する画像捕捉中に試料の平面上に投影することができる簡略化された照明縞模様を示す図である。 一例において、空間(X)および時間(T)において変化する位相パラメータの推定値を示す図である。 一例において、xの関数としてのパラメータの推定変動の傾向を示す図である。 本明細書に記載されるいくつかの実装に従って、その時点の前後で捕捉された画像から得られた構造化照明パラメータの推定値を使用して、特定の時点の構造化照明パラメータを予測するための例示的な内挿法を示す動作フロー図である。 本明細書で説明されるいくつかの実施形態による、ある時点の前に捕捉された2つ以上の画像から取得された構造化照明パラメータの推定値を使用して、特定の時点の構造化照明パラメータを予測するための例示的な外挿法を示す動作フロー図である。 本明細書で説明するいくつかの実施形態による、高分解能画像再構成中に予測構造化照明パラメータを使用して、構造化照明パラメータの経時的な望ましくない変化を補償する例示的な方法を示す動作フロー図である。 本明細書で説明されるいくつかの実施形態による、SIM撮像システムハードウェアコンポーネントの予測構造化照明パラメータ調整を使用して、構造化照明パラメータの経時的な変化を補償する例示的な方法を示す動作フロー図である。 本開示の様々な実施形態と併せて使用することができるコンピューティングコンポーネントの例である。

本開示は、1つ以上の実施形態に従って、以下の図面を参照して詳細に説明される。図面は、説明のみを目的として提供され、単に例示的な実装を示す。さらに、図を明確にし、説明を容易にするために、図中の要素は必ずしも一定の縮尺で描かれていないことに留意されたい。

本明細書に含まれる図面のいくつかは、異なる視角からの開示された技術の様々な実施形態を示す。添付の説明テキストは「上面」、「底面」、または「側面」図などの図に言及することができるが、そのような言及は単に説明的なものであり、別段の明示的な記載がない限り、開示された技術が特定の空間的配向で実施または使用されることを暗示または要求するものではない。

図面は、網羅的ではなく、開示された厳密な形態に本開示を限定するものではない。

構造化照明パラメータに言及するために本明細書で使用されるときに、用語「周波数」は構造化照明パターン(例えば、縞またはグリッドパターン)の縞または線間の間隔に言及することが意図される。例えば、縞間の間隔がより大きいパターンは、縞間の間隔がより小さいパターンよりも低い周波数を有することになる。

本明細書で構造化照明パラメータに言及するために使用されるときに、用語「位相」は、試料を照らす構造化照明パターンの位相を指すことが意図される。例えば、位相は、照明された試料に対して構造化照明パターンを平行移動させることによって変化させることができる。

本明細書で構造化照明パラメータに言及するために使用されるときに、用語「配向」は構造化照明パターン(例えば、縞または格子パターン)と、パターンによって照明される試料との間の相対配向を指すことが意図される。例えば、配向は、照明された試料に対して構造化された照明パターンを回転させることによって変更されてもよい。

本明細書では構造化照明パラメータに言及するために使用されるときに、用語「予測する」または「予測している」はパラメータを直接測定することなく、またはパラメータに対応する捕捉された画像からパラメータを推定することなく、パラメータの値を計算することを意味することが意図される。例えば、構造化照明パターンの位相はt2<t1<t3である時間t2及びt3において(例えば、捕捉された位相画像から)直接測定又は推定された位相値間の内挿によって、時間t1において予測されてもよい。別の例として、構造化照明パターンの周波数はt2<t3<t1である時間t2およびt3において(例えば、捕捉された位相画像から)直接測定または推定された周波数値からの外挿によって、時間t1において予測されてもよい。

本明細書では回折格子によって回折された光に言及するために使用されるときに、「次」または「次数」という用語は、建設的干渉のための回折格子の隣接するスリットまたは構造からの光の経路長差を表す整数波長の数を意味することを意図している。一連の格子構造または他のビーム分割構造の繰り返し上の入射光ビームの相互作用が、光ビームの一部を元のビームから予測可能な角度方向に再指向または回折させることができる。「0次」または「0次最大」という用語が、回折がない回折格子によって放出された中心の明るい縞を指すことを意図している。「1次」という用語が0次縞のいずれかの側に回折された2つの明るい縞を指すことを意図しており、経路長差は±1波長である。より高い次数は、元のビームからより大きな角度に回折される。回折格子の特性を操作して、ビーム強度のどれだけを様々な次数に向けるかを制御することができる。例えば、±1次の透過を最大化し、ゼロ次ビームの透過を最小化するために、位相格子を製造することができる。

本明細書では試料を言及するために使用されるときに、用語「特徴部」は、相対位置に従って他の点または領域から区別され得るパターン内の点または領域を意味することが意図される。個々の特徴部は、特定の型の1つ以上の分子を含み得る。例えば、特徴は特定の同一配列を有する単一の標的核酸分子を含むことができ、または特徴部は同じ配列(および/またはその相補的配列)を有するいくつかの核酸分子を含み得る。

本明細書で使用されるとき、用語「xy平面」は、デカルト座標系における直線軸線xおよびyによって定められる2次元領域を意味することを意図している。検出器および検出器によって観察される物体に関して使用される場合、領域は、ビーム軸線、または検出器と検出される物体との間の観察方向に直交するものとしてさらに特定され得る。

本明細書で使用されるとき、用語「z座標」は、xy平面に直交する軸に沿った点、線、または領域の位置を特定する情報を意味することが意図される。特定の実施形態では、z軸線が検出器によって観察される物体の領域に直交する。例えば、光学系に対するフォーカスの方向は、z軸線に沿って指定されてもよい。

本明細書で使用されるとき、用語「光学的に結合される」は、別の要素に直接的または間接的に光を与えるように適合される1つの要素を指すことが意図される。

上述したように、SIM画像処理のためのパラメータ推定は、経時的な構造化照明パラメータの望ましくない変化を補正するために必要とされ得る。一例として、図1A〜1Cは、規則的にパターニングされた試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて、経時的に生じ得る周波数(図1A)、位相(図1B)、および配向(図1C)の望ましくない変化を示す。特に、図1Aは周波数シフトの前後に、縞60を有する一次元構造化照明パターンによって照明される特徴部51を有する試料50を示す。任意の周波数シフトの前に、隣接する縞60は、初期周波数fに対応するPのピッチまたは中心間隔を有する。時間の経過とともに、システム内の温度変動に伴って、ピッチPが増加または減少することがある。例えば、熱膨張は、ピッチPをP+ΔP1に増大させ、それに対応して周波数fをf-Δf1に減少させる。逆に、熱収縮により、ピッチPがP-ΔP1に減少し、それに応じて周波数fがf+Δf2に増加することがある。

図1Bは位相の変化の前後に、縞60を有する一次元構造化照明パターンによって照明された試料50を示す。図示されるように、位相ドリフトの前に、第1の位相状態Φは、試料50の特徴部51の１列おきに（every second column）完全に照明する縞に対応し得る。時間の経過と共に、試料50に対する縞60の位置は、全ての位相画像がΔΦだけオフセットされるようにシフトすることができる。例えば、SIM撮像システムにおける機械的振動(例えば、励起ビーム経路内)、回折格子または試料ステージによって使用される平行移動ステージにおける不正確さ、熱的変動、および/または他の要因は、位相における望ましくないドリフトを引き起こし得る。位相がΔΦだけドリフトした後、第1の位相状態はΦ+ΔΦに変化し、縞はもはや特徴部の１つおきの列の中心に来ない。

図1Cは配向の変化の前後に、縞60を有する一次元構造化照明パターンによって照明された試料50を示す。図示のように、配向の変化の前に、試料50に対する縞の配向は、完全に垂直である。時間の経過とともに、配向は、励起ビーム経路の変化、試料の移動、熱的変動、および/または他の要因などの要因によって変化し得る。配向が角度Δθだけ回転した後、縞は試料に対してもはや完全に垂直ではなくなる。

上述のような構造化照明パラメータの変化を正確に考慮するためのSIM撮像プロセス中のパラメータ推定は、1組のサンプリングされた画像からの画像のアーチファクトのない正確な再構成を保証するのに役立つ。しかしながら、このようなプロセスは計算的に高価であることがあり、画像取得後に頻繁に実行される。画像のリアルタイム処理および再構成、ひいては周波数、位相、配向、および変調順序などのパラメータのリアルタイム推定を含む時間クリティカルSIM撮像システムの場合、これらの計算要件はデータスループットの損失をもたらすおそれがある(例えば、単位時間当たりに処理されるデータがより少なくなることがある)。そのようなシステムでは、サンプルが撮像される速度が、構造化照明パラメータがサンプリングされた画像から直接推定され得る速度を超えることがある。したがって、複雑さが低く、処理時間が短いパラメータ推定値を生成する方法が必要とされている。

この目的のために、本明細書に開示される技術の実施は、構造化照明システムによって捕捉される画像から得られる構造化照明パラメータの推定値を使用して、特定の時点、空間、および/または温度に関する構造化照明パラメータを予測することを対象とする。特定の実施態様は構造化照明周波数、位相、配向、および/または変調次数パラメータを予測することを対象とする。

いくつかの実施形態によれば、構造化照明パラメータは、画像キャプチャから構造化照明パラメータの推定値を補間することによって、所与の時点、空間、および/または温度について予測され得る。例えば、第1の周波数は第1のサンプリングされた画像から推定され、第2の周波数は第2のサンプリングされた画像から推定され、第1の捕捉された画像と第2の捕捉された画像との間のある時点に対応する周波数(例えば、第1の画像と第2の画像との間で取得された画像に対する周波数)は第1の捕捉された画像と第2の捕捉された画像との間の周波数の少なくとも決定された変化率を使用して補間することによって予測され得る。

いくつかの実施形態によれば、構造化照明パラメータは、2つの画像キャプチャから取得された構造化照明パラメータの推定値を使用する外挿によって、所与の時点、空間、および/または温度について予測され得る。例えば、第1の配向は第1のサンプリングされた画像から推定され、第2の配向は第2のサンプリングされた画像から推定され、第1および第2の捕捉された画像の後のある時点に対応する配向(例えば、第1および第2の画像の後に取得された第3の画像に対する配向)は第1の捕捉された画像から第2の捕捉された画像への配向の少なくとも決定された変化率を使用して、外挿によって予測され得る。第2の例として、第1の配向は第1のサンプリングされたイメージから推定され、第2の配向は第2のサンプリングされたイメージから推定され、第1および第2の捕捉された画像の後のある時点に対応する配向(例えば、第1および第2の画像の後に取得された第3の画像に対する配向)は第2の捕捉された画像からの値を保持することによって予測され得る。

実施形態では、推定および予測された構造化照明パラメータを使用して、予測される他の構造化照明パラメータの探索空間を狭めることができる。例えば、第1の時点、空間、および/または温度に対する構造化照明パラメータの推定値が与えられると、第1の時点、空間、および/または温度に近い第2の時点、空間、および/または温度に対する構造化照明パラメータの値は、第1の時点、空間、および/または温度における予測値または推定値を考慮して予測され得る。

実施形態では、推定され予測された構造化照明パラメータがシステムによる後の使用のために構造化照明システムのメモリに記憶されてもよい。例えば、予測され推定されたパラメータは、ルックアップテーブルのような履歴ファイルに記憶することができる。メモリに記憶される予測パラメータは推定パラメータから決定されてもよく、または構造化照明システムの物理的特性に基づいて設定されてもよい。例えば、構造化照明システムの公称グリッド間隔を記憶することができる。その後、記憶されたパラメータを参照して、較正された画像再構成、構造化照明パラメータの変化を補正するためのフィードバックをハードウェアコンポーネントに提供すること、および追加の構造化照明パラメータを予測するときに探索空間を狭めることなどの動作を実行することができる。

構造化照明パラメータを予測するための本明細書で開示される技術の様々な実装を説明する前に、これらの技術を実装することができる例示的なSIM撮像システムを説明することが有用である。図2-6は、このような3つの例示的なSIM撮像システムを示す。これらのシステムは主に、一次元照明パターンを生成するSIM撮像システムの文脈で記載されるが、本明細書に開示される技術はより高い次元の照明パターン(例えば、2次元グリッドパターン)を生成するSIM撮像システムで実施されてもよいことに留意されたい。

図2は、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を実施することができる構造化照明顕微鏡(SIM)撮像システム100を示す。例えば、システム100は、生体資料を撮像するために空間的に構造化された励起光を利用する構造化照明蛍光顕微鏡システムであってもよい。

図2の例では、発光体150がコリメーションレンズ151によってコリメートされた光線を出力するように構成されている。コリメートされた光は、光構造化光学アセンブリ155によって構造化(パターン化)され、対物レンズ142を通ってダイクロイックミラー160によって試料容器110の試料上に導かれ、この試料容器110は運動ステージ170上に位置決めされる。蛍光試料の場合、試料は構造化された励起光に応答して蛍光を発し、得られた光は、対物レンズ142によって収集され、カメラシステム140のイメージセンサに導かれて、蛍光を検出する。

光構造化光学アセンブリ155は1つ以上の光回折格子または他のビーム分割要素(例えば、ビームスプリッタキューブまたは板)を含み、試料容器110の試料上に投影される光のパターン(例えば、フリンジ、典型的には正弦波)を生成する。回折格子は、一次元又は二次元の透過性格子又は反射格子とすることができる。回折格子は、正弦波振幅格子又は正弦波位相格子とすることができる。

幾つかの実施形態では、回折格子が構造化された照明パターンの配向を変更するために回転ステージを利用しない場合がある。他の実装形態では、回折格子が回転ステージ上に実装されてもよい。いくつかの実施態様では、回折格子が撮像システムの動作中に固定されてもよい(すなわち、回転運動または直線運動を必要としない)。例えば、以下にさらに説明する特定の実装において、回折格子は互いに垂直に配向した2つの固定された1次元透過回折格子(例えば、水平回折格子及び垂直回折格子)を含むことができる。

図2の例に図示されるように、光構造化光学アセンブリ155は、0次を含む他のすべての次数を阻止または最小化しながら、第1次数の回折光線(例えばm = ±1次)を出力する。しかしながら、代替実施形態では、追加の次数の光を試料上に投影することができる。

各撮像サイクルの間、撮像システム100は、光構造化光学アセンブリ155を利用して、種々の位相で複数の画像を取得し、縞模様は変調方向に(例えば、x-y平面内で、かつ縞に垂直に)横方向に変位し、この手順は光軸を中心に(すなわち、試料のx-y平面に対して)パターン配向を回転することによって、1回以上繰り返される。次いで、捕捉された画像はより高い解像度の画像(例えば、個々の画像の横方向の空間解像度の約2倍を有する画像)を生成するために、計算によって再構成されてもよい。

システム100では、発光体150がインコヒーレント発光体(例えば、1つ以上の励起ダイオードによって出力される光線を放出する)であってもよく、または1つ以上のレーザまたはレーザダイオードによって出力される光の発光体などのコヒーレント発光体であってもよい。システム100の例に図示されるように、発光体150は、出力される光線を導くための光ファイバ152を含む。しかしながら、発光体150の他の構成を使用してもよい。マルチチャネル撮像システムにおける構造化照明を利用する実施形態(例えば、光の複数の波長を利用するマルチチャネル蛍光顕微鏡)では、光ファイバ152が複数の異なる光源(図示せず)に光学的に結合することができ、各光源は異なる波長の光を発光する。システム100は単一の発光体150を有するものとして示されているが、いくつかの実施形態では複数の発光体150を含むことができる。例えば、複数の発光体が、更に後述する、複数のアームを利用する構造化照明撮像システムの場合に含まれてもよい。

いくつかの実施形態では、システム100が構造化ビームの形状および経路を調整するためにz軸線に沿って関節運動するレンズ素子を含むことができる管レンズ156を含むことができる。例えば、管レンズの構成要素は容器110内の試料のある範囲の試料厚さ(例えば、異なるカバーガラス厚さ)を占めるために関節運動されてもよい。

システム100の例では、流体送達モジュールまたは装置190が試薬(例えば、蛍光標識されたヌクレオチド、緩衝液、酵素、切断試薬など)の流れを、試料容器110および廃棄バルブ120に(およびそれを通して)導き得る。試料容器110は、その上に試料が提供される1つ以上の基板を含むことができる。例えば、多数の異なる核酸配列を分析するためのシステムの場合、試料容器110はその上にシーケンシングされる核酸が結合し、付着し、又は関連付けられる1つ以上の基板を含み得る。基板は例えば、ガラス表面、プラスチック表面、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルアミドゲル、金表面、およびシリコンウェーハなど、核酸を付着させることができる任意の不活性基板またはマトリックスを含むことができる。いくつかの用途では、基板が試料容器110にわたるマトリックス又はアレイに形成される複数個所のチャネル又は他の区域内にある。システム100はまた、試料容器110内の流体の状態の温度を任意に調節することができる温度ステーションアクチュエータ130およびヒーター/クーラー135を含むことができる。

特定の実施形態では、試料容器110は半透明カバープレート、基板、およびそれらの間に含まれる液体を含むパターンフローセルとして実施することができ、生物学的試料は半透明カバープレートの内面または基板の内面に配置することができる。フローセルは定められたアレイ(例えば、六角形アレイ、矩形アレイなど)にパターニングされた多数(例えば、数千、数百万、または数十億)のウェルまたは領域を基板に含んでもよい。各領域は例えば合成によるシーケンシングを使用して配列決定され得る、DNA、RNA、または別のゲノム物質のような生物学試料のクラスター(例えば、モノクローナルクラスター)を形成し得る。フローセルはさらに、多数の離間したレーン(例えば、8つのレーン)に分割されてもよく、各レーンは、クラスタの六角形のアレイを含む。

試料容器110は対物レンズ142に対する試料容器110の移動および位置合わせを提供するために、試料ステージ170上に取り付けることができる。試料ステージは3次元のいずれかで移動することを可能にするために、1つ以上のアクチュエータを有することができる。例えば、デカルト座標系に関して、アクチュエータを、ステージが対物レンズに対してX、Y及びZ方向に移動することを可能にするように提供し得る。このことは、試料容器110上の1つ以上の試料位置が対物レンズ142と光学的に位置合わせされて配置されることを可能にし得る。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物レンズ、撮像システムの他のいくつかの成分、または前記のものの任意の組合せを移動させることによって達成することができる。さらなる実施形態はまた、静止した試料に対して撮像システム全体を移動させることを含むことができる。代替的に、試料容器110は、撮像中に固定されてもよい。

幾つかの実施形態では、フォーカス(z軸線)構成要素175を含み、フォーカス方向(典型的にはz軸線、またはz方向と呼ばれる)における試料容器110に対する光学部品の位置決めを制御してもよい。フォーカス要素175は光学ステージ若しくは試料ステージ又はそれらの両方に物理的に結合される1つ以上のアクチュエータを含むことができ、試料ステージ170上の試料容器110を光学要素(例えば、対物レンズ142)に対して移動させて、撮像動作のための適切な焦点合わせを提供することができる。例示すると、アクチュエータは、ステージに又はステージとの、例えば機械的、磁気的、流体的若しくは他の取り付けによって、又は直接的若しくは間接的な接触によって、それぞれのステージに物理的に連結されてもよい。1つ以上のアクチュエータは試料ステージを同じ平面内に維持しながら(例えば、光軸に垂直なレベル又は水平姿勢を維持しながら)ステージをz方向に移動させるように構成され得る。1つ以上のアクチュエータは、ステージを傾斜させるように構成されることもできる。このことは、例えば、試料容器110がその表面における任意の傾きを考慮して動的に水平にされ得るように、行われ得る。

撮像されている試料位置で試験試料から発する構造化光は、ダイクロイックミラー160を介してカメラシステム140の1つ以上の検出器に向けることができる。いくつかの実施形態では、1つ以上の発光フィルタを有するフィルタスイッチングアセンブリ165を含めることができ、1つ以上の発光フィルタを使用して、特定の発光波長を通過させ、他の発光波長をブロック(または反射)することができる。例えば、1つ以上の発光フィルタは、撮像システムの異なるチャネルの間で切り替えるために使用されてもよい。特定の実施形態において、発光フィルタは、異なる波長の発光を、カメラシステム140の異なるイメージセンサに向けるダイクロイックミラーとして実装することができる。

カメラシステム140は試料容器110の撮像(例えば、配列決定)を監視および追跡するために、1つ以上の画像センサを含み得る。カメラシステム140は例えば、電荷結合素子(CCD)撮像素子カメラとして実装することができるが、他のイメージセンサ技術(例えば、アクティブ画素センサ)を使用することもできる。

カメラシステム140からの出力データ(例えば、画像)は以下にさらに説明するように、各撮像サイクル中に撮像された画像を再構成して、より高い空間解像度を有する画像を生成することができるソフトウェアアプリケーションとして実現され得るリアルタイムSIM撮像コンポーネント191に通信され得る。再構成された画像は、経時的に予測される構造照明パラメータの変化を考慮に入れることができる。さらに、SIM撮像コンポーネント191は予測されたSIMパラメータを追跡するために、および/または、事前に推定されたおよび/または予測されたSIMパラメータが与えられた場合にSIMパラメータの予測を行うために使用されてもよい。

システム100の種々の光学構成要素を同期させることを含む、構造化照明撮像システム100の操作を制御するために、コントローラ195を設けることができる。コントローラは例えば光構造化光学アセンブリ155の構成(例えば、回折格子の選択及び/又は直線移動)、チューブレンズ156の移動、合焦、ステージ移動、及び撮像動作のようなシステム動作の態様を制御するように実装することができる。コントローラはまた、システム100のハードウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されてもよい。例えば、コントローラは、光構造化光学アセンブリ155、運動ステージ170、またはシステム100の他の何らかの要素の構成を制御するモータまたは他の装置に制御信号を送信して、構造化照明位相、周波数、および/または配向の経時的な変化を補正または補償するように構成されてもよい。実施形態では、これらの信号は、SIM撮像コンポーネント191を使用して予測された構造化照明パラメータに従って送信することができる。いくつかの実施形態では、コントローラ195が異なる時間および/または試料位置に対応する予測および/または推定された構造化照明パラメータを記憶するためのメモリを含むことができる。

様々な実装形態では、コントローラ195は、ハードウェア、アルゴリズム(例えば、機械実行可能命令)、または前記のものの組合せを使用して実装することができる。例えば、ある実施形態では、コントローラが関連するメモリを有する1つ以上のCPU、GPU、またはプロセッサを含むことができる。別の例として、コントローラは、コンピュータプロセッサ、および機械可読命令が格納された非一時的コンピュータ可読媒体など、動作を制御するためのハードウェアまたは他の回路を備えることができる。例えば、この回路は、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、プログラマブル・ロジック・デバイス(PLD)、複合プログラマブル・ロジック・デバイス(CPLD)、プログラマブル・ロジック・アレイ(PLA)、プログラマブル・アレイ・ロジック（PAL）または他の類似する処理デバイス若しくは回路の１つ以上を含むことができる。さらに別の例として、コントローラは、この回路と1つ以上のプロセッサとの組合せを備えることができる。

図3は、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を実施することができる2アームSIM撮像システム200の例示的な光学構成を示す光学図である。システム200の第1のアームは、発光体210Aと、発光体210Aによって出力された光をコリメートするための第1の光コリメータ220Aと、光軸に関して第1の配向における回折格子230Aと、回転ミラー240Aと、第2の光コリメータ250Aとを含む。システム200の第2のアームは、発光体210Bと、発光体210Bによって出力された光をコリメートする第1の光コリメータ220Bと、光軸に対して第2の配向における回折格子230Bと、回転ミラー240Bと、第2の光コリメータ250Bとを含む。この例では回折格子が図示されているが、他の実施形態ではビームスプリッタキューブまたはプレートのような他のビーム分割要素を使用して、SIM撮像システム200の各アームで受け取った光を分割してもよい。

各発光体210A〜210Bはインコヒーレント発光体(例えば、1つ以上の励起ダイオードによって出力される光線を放出する)、または1つ以上のレーザまたはレーザダイオードによって出力される発光体などのコヒーレント発光体とすることができる。システム200の例では、各発光体210A〜210Bがそれぞれのコリメータ220A〜220Bによってコリメートされた光ビームを出力する光ファイバである。

いくつかの実施態様では、各光ファイバがレーザなどの対応する光源(図示せず)に光学的に結合することができる。撮像中、各光ファイバは、ファイバと光源との間の光路内に配置された高速シャッタ(図示せず)を用いて、又は撮像中にファイバの対応する光源を所定の周波数でパルス化することによって、オン又はオフに切り替えることができる。いくつかの実施形態では、各光ファイバは同じ光源に光学的に結合することができる。このような実施形態では、光源からの光を光ファイバの各々に導くために、ビームスプリッタ又は他の適切な光学素子を使用することができる。このような例では、各光ファイバは、ファイバとビームスプリッタとの間の光路内に配置された高速シャッタ(図示せず)を使用して、オンまたはオフに切り替えることができる。

例示的SIM撮像システム200では、第1のアームが固定垂直格子230Aを含み、第1の配向(例えば、垂直縞模様)の格子パターンを試料上に投影し、第2のアームは固定水平格子230Bを含み、第2の配向(例えば、水平縞模様)の格子パターンを試料271上に投影する。SIM撮像システム200の格子は、改良されたシステム速度、信頼性、および再現性を提供し得る、機械的に回転または平行移動される必要はない。

代替的な実施形態においては、格子230A及び230Bは、格子230A及び230Bによって放射される光の光路長(従って位相)を変化させるために平行移動させることができるそれぞれの直線運動ステージ上に実装することができる。ステージの直線運動の運動軸線は試料271に沿った格子のパターンの平行移動を実現するために、それぞれの格子の配向から垂直であってもよく、そうでなければオフセットされていてもよい。

格子230A〜230Bはガラス基板または他の適切な表面に形成された複数の回折素子(例えば、平行なスリットまたは溝)を含む透過回折格子であってもよい。格子は、格子材料の屈折率の周期的変動を提供する位相格子として実装することができる。溝または特徴部の間隔は適切な角度で光を回折し、SIM撮像システム200の動作のために撮像された試料の最小分解可能特徴サイズに調整されるように選択され得る。他の実装形態では、グレーティングは反射回折グレーティングであってもよい。

SIM撮像システム200の例では、垂直及び水平パターンが約90度だけオフセットされている。他の実施形態では、格子の他の配向を使用して、約90度のオフセットを生成することができる。例えば、格子は、それらが試料271のxまたはy平面から±45度オフセットされた画像を投影するように配向されてもよい。構造化された分解能向上は2つの直交回折格子(例えば、垂直格子および水平格子)のみを使用して達成され得るので、例示的SIM撮像システム200の構成は、矩形グリッド上に特徴部を有する規則的にパターン化された試料271の場合に特に有利であり得る。

格子230A〜230Bはシステム200の例では入力ビームを多数の次数(例えば、0次、±1次、±2次など)に回折するように構成され、その±1次を試料271上に投影することができる。この例に示されるように、垂直格子230Aは平行光ビームを第1次数回折ビーム(±1次)に回折し、ページの平面上で第1次数を広げ、水平格子230Bは平行光ビームを第1次数回折ビームに回折し、ページの平面の上下(すなわち、ページに垂直な平面内)で当該次数を広げる。システムの効率を改善するために、0次ビームおよび他のすべての高次ビーム(すなわち、±2次以上)を遮断する(すなわち、試料271上に投影された照明パターンからフィルタ除去する)ことができる。例えば、0次ビーム及び高次ビームを遮断するために、各回折格子の後に光路に次数フィルタ等の図示しないビーム遮断素子を挿入してもよい。幾つかの実施形態では回折格子230A〜230Bがビームを1次のみに回折するように構成されてもよく、0次(未回折ビーム)は何らかのビーム遮断素子によって遮断されてもよい。

各アームは格子230の各々によって出力される回折光を位相シフトさせるために、光位相変調器または移相器240A〜240Bを含む。例えば、構造化撮像の間、各回折ビームの光学位相は構造化パターンの各縞のピッチ(λ)のある部分(例えば、1/2、1/3、1/4等)だけシフトされてもよい。図3の例では、位相変調器240A及び240Bがガルバノメータ又は他の回転アクチュエータを使用して、各回折ビームの光路長を回転させ変調させることができる回転窓として実装されている。例えば、窓240Aは垂直軸線の周りを回転して、垂直格子230Aによって試料271上に投影される画像を左右にシフトさせてもよく、窓240Bは水平軸線の周りを回転して、水平格子230Bによって試料271上に投影される画像を上下にシフトさせてもよい。

他の実施形態においては、回折光の光路長を変化させる他の位相変調器(例えば、線形平行移動ステージ、ウェッジ等)を使用してもよい。加えて、光学位相変調器240A〜240Bは回折格子230A〜230Bの後に配置されるように図示されているが、他の実施形態において、それらは照明システムの他の箇所に配置されてもよい。

代替の実施形態では単一の位相変調器が異なる縞模様に対して2つの異なる方向に動作されてもよく、または単一の位相変調器は経路長の両方を調整するために単一の動きを使用してもよい。例えば、穴261を有するミラー260の後に、大きな、回転する光学窓を配置することができる。この場合、窓240A及び240Bの代わりに大きな窓を用いて、垂直及び水平回折格子によって出力される回折ビームの両セットの位相を変調することができる。格子のうちの1つの光軸に対して平行である代わりに、大きな回転窓の回転軸線は大きな窓の1つの共通の回転軸線に沿った両方向に沿った位相シフトを可能にするために、垂直格子および水平格子のそれぞれの光軸から45度オフセット(または他の何らかの角度オフセット)されてもよい。幾つかの実施形態では、大きな回転窓が公称ビーム軸線を中心に回転する楔状光学系によって置き換えられてもよい。

例示的なシステム200では、穴261を有するミラー260が2つのアームを無損失の方法で(例えば、反射性コーティングにおける小さな吸収以外に、光パワーの著しい損失なしに)光路内に結合する。ミラー260は、各格子からの回折次数が空間的に分解され、不要な次数が遮断されるように配置することができる。ミラー260は、第1アームが出力する光の第１次数に穴261を通過させる。ミラー260は、第2のアームによって出力された光の第1次数を反射する。したがって、構造化照明パターンは各エミッタをオンまたはオフにすることによって、または光源の光を光ファイバケーブルに通す光シャッタを開閉することによって、垂直配向(例えば、格子230A)から水平配向(例えば、格子230B)に切り替えることができる。他の実施形態では、構造化照明パターンは光学スイッチを使用して、試料を照らすアームを変化させることによって切り替えられてもよい。

また、図示される例示的撮像システム200には、チューブレンズ265、半反射ミラー280、対物レンズ270、およびカメラ290が示されている。例えば、チューブレンズ265は構造化されたビーム形状および経路を調整するために、z軸線に沿って関節を形成するように実装されてもよい。半反射ミラー280は各アームから受け取った構造化照明光を対物レンズ270内に反射して試料271上まで投影し、試料271によって放射された光(例えば、励起とは異なる波長で放射される蛍光)をカメラ290上に通過させるためのダイクロイックミラーであってもよい。

カメラ290からの出力データ(例えば、画像)はリアルタイムSIM撮像構成要素(図示せず)に通信されてもよく、リアルタイムSIM撮像構成要素はソフトウェアアプリケーションとして実装されてもよく、ソフトウェアアプリケーションは以下でさらに説明するように、各撮像サイクル中に捕捉された画像を再構成して、より高い空間分解能を有する画像を生成してもよい。再構成された画像は、経時的に予測される構造照明パラメータの変化を考慮に入れることができる。さらに、リアルタイムSIM撮像構成要素は予測されたSIMパラメータを追跡するために、および/または先に推定されたおよび/または予測されたSIMパラメータが与えられた場合にSIMパラメータの予測を行うために使用され得る。

システム200の種々の光学構成要素を同期させることを含む、構造化照明撮像システム200の動作を制御するために、コントローラ(図示せず)を設けることができる。コントローラは例えば、各光学アームの構成(例えば、位相画像の捕捉中に各光学アームをオン/オフすること、位相変調器240A〜240Bの作動)、チューブレンズ265の移動、試料271のステージ移動(いずれかのステージが使用される場合)、および撮像動作などのシステム動作の態様を制御するように実装することができる。コントローラはまた、システム200のハードウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されてもよい。例えば、コントローラはシステム100の各光学アームまたは何らかの他の素子の構成を制御する装置(例えば、位相変調器240A〜240B)に制御信号を送信して、構造化照明位相、周波数、および/または配向の経時的変化を補正または補償するように構成されてもよい。別の例として、格子230A〜230Bが直線運動ステージ上に実装される場合(例えば、位相変調器240A〜240Bを使用する代わりに)、コントローラは、直線運動ステージを制御して位相変化を補正または補償するように構成されてもよい。実施態様では、これらの信号はSIM撮像コンポーネントを使用して予測された構造化照明パラメータに従って送信することができる。いくつかの実施形態では、コントローラが異なる時間および/または試料位置に対応する予測および/または推定された構造化照明パラメータを記憶するためのメモリを含むことができる。

簡単にするために、SIM撮像システム200の光学部品は、前記の説明から省略され得ることに留意されたい。さらに、システム200はこの例では単一チャネルシステムとして図示されているが、他の実装形態では、(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよい。

図4は構造化された光を使用して高分解能画像を作成するために、1つの撮像サイクル中に、SIM撮像システム200の垂直格子230Aおよび水平格子230Bによって、試料271の平面上に投影され得る単純化された照明縞模様を示す。この例では、垂直照明配向を有する3つの位相画像を垂直格子230Aを用いて捕捉することができ、水平照明配向を有する3つの位相画像を水平格子230Bを用いて捕捉することができる。各配向について、投影された縞は1/3λのステップ(例えば、位相変調器230Aまたは230Bを3つの異なる位置に設定することによって)で位置を位相シフトして、配向パターンの3つの位相画像を捕捉することができる。

各位相画像の捕捉中に、試料によって放射される任意の光をカメラ290によって捕捉することができる。例えば、試料271の異なる特徴部に位置する蛍光色素は蛍光を発し、得られた光は、対物レンズ270によって収集され、蛍光を検出するためにカメラ290の画像センサに向けられてもよい。捕捉された6つの画像は、試料全体またはより大きな試料の位置を撮像するためのものであってもよい。

撮像サイクルの間に全ての画像(この例では6つの画像)が捕捉されると、捕捉された画像から高分解能画像を構築することができる。例えば、図４に示す６つの画像から高分解能画像を再構築することができる。適切なアルゴリズムを使用して、これらの様々な画像を組み合わせて、個々の要素画像のいずれかよりも著しく良好な空間分解能で試料の単一の画像を合成することができる。

高分解能画像の構築中に、望ましくないシフトまたは構造化照明パラメータ(例えば、位相、周波数、配向)の変化は開示に従って予測される構造化照明パラメータ(例えば、位相、周波数、または配向の予測される変化)を使用するために、アルゴリズム的に補償されてもよい。例えば、垂直照明画像及び/又は水平照明画像の位相、配向、及び/又は周波数のオフセットを補償することができる。

いくつかの実施形態では、SIM撮像システムにおけるこれらの変化を補償するために、システム200の1つ以上のハードウェア要素を制御することによって、構造化照明パラメータの望ましくないシフトまたは変化を、画像キャプチャの前に補償することができる。例えば、撮像シーケンスの前、および/または撮像シーケンスの画像の捕捉の間で、位相シフト素子(例えば、回転ミラー、リニアアクチュエータなど)を調整することによって、各光学アームに対して位相ドリフトを補償してもよい。いくつかのの実施形態では、ハードウェアとアルゴリズム補償の組み合わせが実施されてもよい。

システム200は2つの異なる角度で配向された2つの格子を含む2アーム構造照明撮像システムを示すが、他の実施形態では本明細書に記載される技術が3つ以上のアームを使用するシステムで実施されてもよいことに留意されたい。矩形グリッド上に特徴部を有する規則的にパターン化された試料の場合、分解能の向上は上述したように、2つの直交角度(例えば、垂直格子および水平格子)のみで達成することができる。一方、他の試料(例えば、六角形にパターン化された試料)に対する全ての方向における画像分解能向上のために、3つの格子角度が使用されてもよい。例えば、3アームシステムは3つの発光体及び3つの固定回折格子(アーム毎に1つ)を含むことができ、ここで、各回折格子はそれぞれのパターン配向(例えば、0°パターン、120°パターン、又は240°パターン)を試料上に投影するように、システムの光軸の周囲に配向される。このようなシステムでは、穴を有する追加のミラーを使用して、追加の格子の追加の画像をシステムに無損失で結合することができる。あるいは、そのようなシステムが1つ以上の偏光ビームスプリッタを利用して、格子の各々の画像を結合させてもよい。

図5A〜5Bは、本明細書に記載されるいくつかの実装に従った、構造化照明パラメータ予測を実施できるデュアル光学回折格子スライドSIM撮像システム500の一例の光学構成を示す模式図である。例示的システム500では、試料570上に投影される格子パターン(例えば、パターン位相シフトまたは回転)へのすべての変更は単一の運動軸に沿って運動ステージ530を直線的に平行移動させ、格子531または532を選択し(すなわち、格子の方位を選択し)、または格子531〜532のうちの1つを位相シフトさせることによって行われてもよい。

システム500は、発光体510(例えば、光源に光学的に結合された光ファイバ)、発光体510によって出力された光をコリメートする第1の光コリメータ520(例えば、コリメーションレンズ)、第1の回折格子531(例えば、水平格子)および第2の回折格子532(例えば、垂直格子)が取り付けられた直線運動ステージ530、チューブレンズ540、半反射ミラー550(例えば、ダイクロイックミラー)、対物レンズ560、試料570、およびカメラ580を含む。簡単にするために、SIM撮像システム500の光学部品は、図5Aから省略することができる。さらに、システム500はこの例では単一チャネルシステムとして示されているが、他の実装形態では、(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよい。

図5Aによって図示されるように、回折格子531(例えば、水平回折格子)は、平行光ビームを(ページの平面上の)1次回折光ビームに回折させてもよい。図5Bによって図示されるように、回折格子532(例えば、垂直回折格子)は、ビームを1次に(ページの平面の上下に)回折させてもよい。この構成では単一のエミッタ510(例えば、光ファイバ)および単一の直線運動ステージを有する単一の光学アームのみが、試料570を撮像するために必要であり、これは速度、複雑性およびコストを改善するために、可動システム部品の数を減らすなどのシステム利点を提供し得る。加えて、システム500において、偏光子がないことは、前述の高い光学効率の利点を提供し得る。構造化された分解能向上は2つの直交格子(例えば、垂直格子および水平格子)のみを使用して達成され得るので、例示的SIM撮像システム200の構成は、矩形グリッド上に特徴を有する規則的にパターン化された試料570の場合に特に有利であり得る。

システムの効率を改善するために、各格子によって出力される0次ビームおよび他のすべての高次回折ビーム(すなわち、±2次以上)を遮断する(すなわち、試料570上に投影された照明パターンからフィルタ除去する)ことができる。例えば、次数フィルタのようなビーム遮断要素(図示せず)を、移動ステージ530の後の光路に挿入することができる。幾つかの実施形態では回折格子531〜532がビームを1次のみに回折するように構成されてもよく、0次(未回折ビーム)は何らかのビーム遮断要素によって遮断されてもよい。

システム500の例では2つの格子が運動軸から約±45°(または約+40°/-50°、約+30°/-60°等のような、運動軸線からオフセットされた他の何らかの角度)に配置されてもよく、その結果、位相シフトは単一の直線運動軸線に沿って、各格子531〜532に対して実現され得る。いくつかの実施形態では、2つの格子が1つの物理的光学素子に組み合わされてもよい。例えば、物理光学素子の一側面は第1の配向における格子パターンを有してもよく、物理光学素子の隣接側面は第1の配向に直交する第2の配向における格子パターンを有する可能性がある。

単一軸直線運動ステージ530は、試料平面に対してＸ軸線に沿って、または試料平面に対してＹ軸線に沿って移動することを可能にするために、1つ以上のアクチュエータを含んでもよい。動作中、直線運動ステージ530は、効率的な画像再構成のために正確な照明パターンを投影するために、十分な走行(例えば、約12〜15mm)および精度(例えば、約0.5マイクロメートル未満の反復性)を提供してもよい。運動ステージ530が、蛍光顕微鏡などの自動化撮像システムに利用される実装において、高速動作、最小振動発生、および長い動作寿命を提供するように構成されてもよい。実施態様では、直線運動ステージ530が交差ころ軸受、リニアモータ、高精度リニアエンコーダ、および/または他の構成要素を含むことができる。例えば、モーションステージ530は、コントローラを使用して平行移動され得る高精度ステッパーまたはピエゾ運動ステージとして実装されてもよい。

カメラ580からの出力データ(例えば、画像)はリアルタイムSIM撮像構成要素(図示せず)に通信されてもよく、リアルタイムSIM撮像構成要素はソフトウェアアプリケーションとして実装されてもよく、ソフトウェアアプリケーションは以下でさらに説明するように、各撮像サイクル中に捕捉される画像を再構成して、より高い空間分解能を有する画像を生成してもよい。再構成された画像は、経時的に予測される構造照明パラメータの変化を考慮に入れることができる。さらに、リアルタイムSIM画像構成要素は予測されたSIMパラメータを追跡するために、および/または先に推定されたおよび/または予測されたSIMパラメータが与えられた場合にSIMパラメータの予測を行うために使用され得る。

システム500の種々の光学構成要素を同期させることを含む、構造化照明撮像システム500の動作を制御するために、コントローラ(図示せず)を設けることができる。コントローラは例えば、直線運動ステージ530の平行移動、チューブレンズ540の移動、試料570のステージ移動(いずれかのステージが使用される場合)、および撮像動作などのシステム動作の態様を制御するように実装することができる。コントローラはまた、装置500のハードウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されてもよい。例えば、コントローラはデバイス(例えば、直線運動ステージ530)に制御信号を送信して、構造化された照明位相、周波数、および/または配向の経時的な変化を補正または補償するように構成されてもよい。実施形態では、これらの信号はSIM撮像コンポーネントを使用して予測された構造化照明パラメータに従って送信することができる。いくつかの実施形態では、コントローラが異なる時間および/または試料位置に対応する予測および/または推定された構造化照明パラメータを記憶するためのメモリを含むことができる。

図5A〜5Bの例は構造化照明パラメータ予測を実施することができるデュアル光学回折格子スライド撮像システムを図示しているが、構造化照明パラメータ予測は、3つ以上の回折格子を搭載した直線運動アクチュエータを使用するSIM撮像システムにおいて実施することができる。

図6は、構造化照明撮像サイクルに対する画像捕捉中に、デュアル光学回折格子スライドSIM撮像システム500の第1の回折格子および第2の回折格子によって、試料570の平面上に投影され得る単純化された照明縞模様を図示する。例えば、SIM撮像システム500は、第1の回折格子531および第2の回折格子532を使用して、図6に示される照明パターンを生成してもよい。図6の例に図示されるように、2つの回折格子は、試料570の表面に垂直な縞模様を投影し、直線運動ステージ530の運動軸線から約±45°に配置される。

例えば、第1の回折格子(例えば、回折格子531)は、試料570上に１次の照度縞を投影することができる。試料によって放出された任意の光はカメラ580によって捕捉されてもよく、第1のパターン(例えば、+45°パターン)の第1の位相画像が捕捉されて第１位相画像を生成してもよい。追加の位相シフト画像を捕捉するために、格子によって投影されるパターンは、直線運動ステージを平行移動させることによって位相シフトされてもよい。これらの位相シフト運動が図６のステップ1および2として示されている。位相シフト移動は、格子上に投影される縞パターンをわずかにシフトさせるために、格子の小さな(例えば、約3〜5マイクロメートル以下)移動を提供し得る。

回折格子についての全ての位相シフト画像の捕捉に続いて、システム500は直線運動ステージ530を平行移動させることによって回折格子を切り替えて、別の回折格子を撮像システムの光源に光学的に結合させてもよい(例えば、図5Aから図5Bへの移行)。この動きは、図6の例ではステップ3として示されている。回折格子が変化する場合、直線運動ステージは比較的大きな平行移動(例えば、12〜15mmのオーダー)を提供し得る。

次いで、一連の位相画像を、次の格子について捕捉することができる。例えば、図6に示すように、第2の回折格子は試料に１次の照明縞を投影することができ、投影された縞は直線運動ステージ530を平行移動させることによって位置をシフトさせて、格子のパターンの3つの位相画像を捕捉することができる(例えば、図6のステップ4及び5)。

撮像サイクルの間に全ての画像(この例では6つの画像)が捕捉されると、捕捉された画像から高分解能画像を構築することができる。例えば、図6に示す6つの画像から高分解能画像を再構築することができる。適切なアルゴリズムを使用して、これらの様々な画像を組み合わせて、個々の要素画像のいずれかよりも著しく良好な空間分解能で試料の単一の画像を合成することができる。

高分解能画像の構築中に、構造化照明パラメータ(例えば、位相、周波数、配向)の望ましくないシフトまたは変化は開示に従って予測される構造化照明パラメータ(例えば、位相、周波数、または配向の予測される変化)を使用するために、アルゴリズム的に補償されてもよい。例えば、垂直照明画像及び/又は水平照明画像の位相、配向、及び/又は周波数のオフセットを補償することができる。

いくつかの実施形態では、SIM撮像システムにおけるこれらの変化を補償するために、システム500の1つ以上のハードウェア要素を制御することによって、構造化照明パラメータの望ましくないシフトまたは変化を、画像キャプチャの前に補償することができる。例えば、撮像シーケンスの前及び/又は撮像シーケンスの画像の捕捉の間に、位相ドリフトは、直線運動ステージ530を並進させることによって補償されてもよい。ある実施形態では、ハードウェアとアルゴリズム補償の組み合わせが実施されてもよい。

本明細書で説明される実施形態によれば、構造化照明パラメータは、その時点の前および/または後に捕捉された画像から取得された構造化照明パラメータの推定値を使用して、特定の時点について予測され得る。例えば、計算リソースの制限はSIM撮像システム(例えば、システム100、200、または500)が、捕捉された画像から位相、周波数、および/または配向などの構造化照明パラメータを直接推定することができる速度を制限することがある。場合によっては、SIM撮像システムが位相画像毎に構造化照明パラメータを直接推定又は測定することができ、この場合、構造化照明パラメータを予測する必要がない場合がある。しかしながら、他の場合には、SIM撮像システムが撮像サイクル毎に1回、又はよりまばらに(例えば、3、5、10、50、又は100撮像サイクル毎に)、撮像サイクルの幾つかの位相画像について構造化照明パラメータを直接推定又は測定することしかできない場合がある。そのような場合、システムの画像サンプリングレートに追従するために、特定の時点および/または空間について得られた構造化照明パラメータの直接推定を活用して、他の時点および/または空間における構造化照明パラメータについての予測を行うことが有利であり得る。

この重要事項の1つの例を数学的に示すために、参照に対する相関は、構造化照明パラメータを推定する1つの方法である。

補正出力=Σ_rc(x)h(x-f) (1)

ここで、h(x)は既知であってもよく、または画像データから導出されてもよい基準であり、c(x)は基準に相関する画像データから導出され、fは推定される値(この例では周波数)である。本開示によれば、他の代替推定技法を利用することができることに留意されたい。

式(1)の例では、ｆのいくつかの仮定値の各々に対して1つの相関出力を生成することができる。パラメータ推定値fは、相関の大きさを最大にするfの値として得ることができる。しかしながら、多くの場合、相関出力を最大にするために、ｆの多数の仮定値を試みる必要がある。大きな探索空間は計算要件を増大させ、その結果、システムスループットの低下(すなわち、単位時間当たりに処理されるデータの減少)を引き起こす可能性がある。

この問題を回避するために、以前のｆの推定からの情報を使用して、決定されるべき新しいｆの値の「近傍」を確認することができる。一例として、空間(X)および時間(T)で変化する推定値(φ)を示す図7を考える。図7によって図示されるように、φについての初期値は、Aブロックに対応するXおよびT座標について得られ得る。空間または時間において推定値がゆっくりと変化すると仮定すると、Aブロックからの推定値(φA)をBブロックまたはEブロックのいずれかの初期値として使用することができる。より具体的には、BおよびEブロックの探索空間がAブロックから得られるφの値の「近傍」の値に限定されてもよい。この手法では、φを識別するのに必要な時間を大幅に短縮することができ、その結果、単位時間内に処理されるデータ量をそれに応じて増加させることができる。

この概念を拡張するために、推定変動の傾向は、空間(X)次元または時間(T)次元のいずれかにおいて予測され得る。一例として、図7を考えると、ブロックごとの推定値は空間次元においてΔφXだけ増大し、時間次元においてΔφTだけ増大する。この観察を考えると、ブロックBの最初の推定値は図8に示すように、φA+Δφx, として導出することができる。さらに、ブロックEの最初の推定値は、φA+ΔφTとして導出することができる。複数のブロックからの値を使用するX次元およびT次元の両方における他の予測子も実装することができる。

図9は、構造化照明システムによって捕捉された複数の画像から得られる構造化照明パラメータの推定値を用いて構造化照明を予測するための例示的補間方法900を示す動作フロー図である。実施形態において、方法700はSIM撮像システム(例えば、システム100、200、または500)のメモリに記憶された機械可読命令を実行することによって実現されてもよい。

動作910において、第1のSIM画像サンプルを取得することができる。例えば、試料の位相画像は、第1の時点で捕捉されてもよい。動作920において、構造化照明パラメータは、捕捉された第1画像を使用して推定されてもよい。例えば、構造化照明位相、周波数、配向、又は変調次数のうちの任意の1つを推定することができる。推定値は、特定の時点、空間、および/または温度で得ることができる。

動作930において、第2のSIM画像サンプルを取得することができる。例えば、試料の位相画像は、第1のSIM画像試料が捕捉される第1の時点の後の第2の時点で捕捉されてもよい。いくつかの実施形態では、試料の第1の画像および試料の第2の画像が同じ撮像シーケンス中に(例えば、より高い分解能の画像に構築される6つの位相画像または9つの位相画像を生成する撮像シーケンスの一部として)捕捉され得る。他の実施形態では、第1の画像および第2の画像が異なる撮像シーケンス中に捕捉されてもよい。動作940において、構造化照明パラメータは、捕捉された第2画像を使用して推定されてもよい。例えば、構造化照明位相、周波数、配向、又は変調次数のうちの任意の1つを推定することができる。推定値は、特定の時点、空間、および/または温度で得ることができる。

動作950では、少なくとも第1の画像からの構造化照明パラメータの推定値および第2の画像からの構造化照明の推定値を使用して、第3の画像に対応する構造化照明パラメータを予測することができ、第3の画像は第1の画像と第2の画像との間の時点、空間(例えば、試料位置)、および/または温度(例えば、試料温度)にある。例えば、第3の画像は、第1の画像の後であるが第2の画像の前に捕捉されていてもよい。別の例として、第3の画像は、第1の画像と第2の画像との間の位置において、後の時点で捕捉されてもよい。

いくつかの実施形態では、この予測が2つの時点の間の構造化照明パラメータの少なくとも決定された変化率に基づくことができる。数学的説明として、第1の時間T1および第2の時間T2について、構造化照明位相がある量ΔφTだけドリフトしたと判定された場合、位相の変化率(例えば、ドリフト)は、ΔφT/ (T2 - T1)として表すことができる。内挿を使用して、時間T3に対する位相ドリフトの量を予測することができる。例えば、位相が時間T1における5度のオフセットから時間T2における15度のオフセットにドリフトした場合、位相は、これら2つの時間の中間の時間T3において10度のオフセットにドリフトしたと予測することができる。

方法900は主に、構造化照明パラメータの2つの既知の推定値が与えられた場合に、特定の時点、空間、および/または温度で構造化照明パラメータを予測するために内挿を適用する状況に関して説明されるが、方法900は3つ以上の既知の推定値がある場合に拡張され得ることに留意されたい。このような場合には、構造化照明パラメータを予測するために、適宜傾向推定機能を使用することができる。例えば、線形傾向推定の場合、時間、空間、及び/又は温度における特定の点で構造化照明パラメータを補間して予測するために、既知の推定値に最小二乗適合を適用することができる。いくつかの実施形態では、構造化照明パラメータの予測が追加の推定値が収集されるにつれて、経時的に更新され得る。さらに、方法900は第3の画像に対応するパラメータを予測するために、第1の画像および第2の画像からの推定値を使用するものとして説明されるが、いくつかの実施形態では2つの推定値のうちの1つのみが、パラメータを予測するために(たとえば、推定値を保持することによって)使用され得る。

加えて、方法900は異なる時間における構造化照明パラメータの2つの既知の推定値が与えられた特定時間における構造化照明パラメータを予測するために内挿を適用する状況で説明するが、方法900はまた、空間の次元(例えば、撮像された試料の位置またはサブセット)および温度の次元を考慮するために拡張されてもよい。場合によっては、複数のパラメータ(例えば、空間、時間および/または温度)を考慮するジョイント予測が適用されてもよい。例えば、図7に図示されているように、構造化照明パラメータを予測する際に、時間及び空間の両方における傾向を考慮することができる。あるいは、単に空間における構造化照明パラメータの傾向を考慮してもよい。

図10は、2つ以上の画像から得られる構造化照明パラメータの推定値を使用して構造化照明パラメータを予測するための例示的外挿方法1000を示す動作フロー図である。実施形態において、方法700がSIM撮像システム(例えば、システム100、200、または500)のメモリに記憶された機械可読命令を実行することによって実現されてもよい。

方法1000の動作910〜940は、方法900を参照して上述したように実行することができる。例えば、構造化照明周波数は、捕捉された画像を使用して、第1の時点及び第2の時点で推定されてもよい。

動作1050において、第1の画像からの構造化照明パラメータの推定値および第2の画像からの構造化照明の推定値を少なくとも使用して、第3の画像に対応する構造化照明パラメータを予測することができ、第3の画像は、時間、空間(例えば、試料位置)、および/または温度(例えば、試料温度)における、第1の画像および第2の画像の両方の後の点、または第1の画像および第2の画像の両方の前の点に存在する。いくつかの実施形態では、この予測が2つの時点の間の構造化照明パラメータの少なくとも決定された変化率に基づくことができる。数学的説明として、第1の時間T1および第2の時間T2について、構造化照明周波数が量Δfだけドリフトしたと判定される場合、位相の変化率(例えば、ドリフト)は、Δf /(T2 - T1)として表すことができる。外挿法を使用して、後の時間T3における周波数ドリフトの総量を予測することができる。

方法1000は構造化照明パラメータの2つの既知の推定値が与えられた場合に、時間、空間、および/または温度における特定の点で構造化照明パラメータを予測するために外挿法を適用する状況に関連して説明されるが、方法900の場合のように、方法1000は3つ以上の既知の推定値がある場合に拡張され得ることに留意されたい。このような場合には、構造化照明パラメータを予測するために、適切な傾向推定機能を使用することができる。例えば、線形傾向推定の場合、構造化照明パラメータを外挿して予測するために、既知の推定値に最小二乗適合を適用することができる。いくつかの実施形態では、構造化照明パラメータの予測が追加の推定値が収集されるにつれて、経時的に更新され得る。

さらに、方法1000は第3の画像に対応するパラメータを予測するために、第1の画像および第2の画像からの推定値を使用するものとして説明されるが、いくつかの実施形態では2つの推定値のうちの1つのみが、パラメータを予測するために(たとえば、推定値を保持することによって)使用され得る。

加えて、方法1000は方法900の場合のように、異なる時間における構造化照明パラメータの2つの既知の推定値が与えられた特定時間における構造化照明パラメータを予測するために、外挿法を適用する状況で説明されるが、方法1000はまた、空間および温度のような他の次元を考慮するために拡張されてもよい。

方法900および1000の実施形態では第1の画像を使用して推定された構造化照明パラメータ、第2の画像を使用して推定された構造化照明パラメータ、および/または第3の画像について予測された構造化照明パラメータはSIM撮像システムのメモリに格納され得る。例えば、推定/予測パラメータは、高分解能画像構築中に、SIM撮像システムハードウェア構成要素を調整して構造化照明パラメータ変化を補償し、及び/又は時間、空間、及び/又は温度における他の点での他の構造化照明パラメータの予測を容易にする間に参照されるルックアップテーブルなどの履歴ファイルに格納されてもよい。実施態様では、各推定または予測に対応する時間、試料位置、および試料温度を記憶することができる。

方法900および1000の実施形態では、構造化照明パラメータを予測するために使用される第1の推定値および第2の推定値が複数の画像を使用して生成され得る。したがって、撮像シーケンスにおける第1の画像セットからの1つ以上(例えば、1、2、3、4、5、6など)の画像を使用して、第1の推定値を生成することができ、撮像シーケンスにおける第2の画像セットからの1つ以上(例えば、1、2、3、4、5)の画像を使用して、第2の推定値を生成することができる。

図11は構造化照明パラメータの経時的な望ましくない変化を補償するために、高分解能画像再構成中に予測される構造化照明パラメータを使用する例示的な方法1100を示す動作フロー図である。実施形態において、方法1100がSIM撮像システム(例えば、システム100、200、または500)のメモリに記憶された機械可読命令を実行することによって実現されてもよい。

動作1110において、構造化照明パラメータは内挿法を使用して、捕捉された画像(例えば、位相画像)について予測されてもよい。例えば、構造化照明パラメータは、方法900を実施することによって、捕捉される画像に対応する時点で予測されてもよい。動作1120では、高分解能画像構築が捕捉画像(例えば、位相画像)および他の捕捉画像(例えば、他の捕捉位相画像)を使用して実行されてもよい。高分解能画像再構成中に、予測された構造化照明パラメータを使用して、時間、空間、および/または温度の次元にわたる構造化照明パラメータの変化を補償することができる。例えば、周波数、位相、および/または配向の変化を補償することができる。ある場合には、動作1120が複数の予測構造化照明パラメータを使用することを含んでもよい。例えば、構造化照明パラメータは、2つ以上の位相画像について予測されてもよい。加えて、位相、周波数、および配向の2つ以上が、所与の位相画像について予測されてもよい。

図12は、SIM撮像システムハードウェア構成要素の予測構造化照明パラメータ調整を使用して、構造化照明パラメータの経時変化を補償する例示的な方法1200を示す動作フロー図である。動作1210において、構造化照明パラメータは、外挿法を使用して予測されてもよい。例えば、構造化照明パラメータは、方法1000を実施することによって将来の時点で予測することができる。

動作1220において、SIM撮像デバイスの機械的および/または光学的部品は、少なくとも予測される構造化照明パラメータを使用して調整されてもよい。例えば、時点Tにおける予測位相ドリフトに基づいて、SIM撮像システムのハードウェアコンポーネントは、時点Tにおける位相画像キャプチャの前に調整されてもよい。

例えば、光構造化光学アセンブリ155の1つ以上の構成要素は、SIM撮像システム100に対して来るべき時期に予測される位相および/または配向の変化を補償するように調整されてもよい。別の例として、回転ミラー240Aまたは240Bは、SIM撮像システム200に対して来るべき時間のために予測される位相変化を補償するために調整されてもよい。さらなる例として、線形平行移動ステージ530を並進させて、SIM撮像システム500について来るべきであると予測される位相変化を補償する。さらなる例として、SIM撮像システムについて予測される配向変化は、試料を運ぶ平行移動ステージおよび光源から試料までの光路のうちの1つ以上を調整することによって補償され得る。

いくつかの実施形態では、構造化照明パラメータ予測のための本明細書で説明される技法が、捕捉される画像サンプルを複数の画像サブセクションに分割することによって、単一の捕捉される画像サンプルに適用され得る。例えば、いくつかの実施形態では、方法が、画像サンプルを取得するステップと、画像サンプルを複数の画像サブセクション(例えば、3つ以上のサブセクション)に分割するステップと、複数の画像サブセクションのうちの第1の画像サブセクションを使用して第1の構造化照明パラメータを推定するステップと、複数の画像サブセクションのうちの第2の画像サブセクションを使用して第2の構造化照明パラメータを推定するステップと、少なくとも第1の画像サブセクションからの構造化照明パラメータの推定値及び第2の画像サブセクションからの構造化照明パラメータの推定値を使用するステップと、複数の画像サブセクションのうちの第3の画像サブセクションに対応する構造化照明パラメータを予測するステップとを含むことができる。第3の画像サブセクションについて予測される構造化照明パラメータは、構造化照明位相、周波数、配向、または変調次数のうちの任意の1つとすることができる。いくつかの実施形態では、3つ以上の画像サブセクションから取得された構造化照明パラメータを使用して、別の画像サブセクションの構造化照明パラメータを予測することができる。例えば、他の画像サブセクションに対する構造化照明パラメータを予測するために、傾向推定関数又は他の適切な当てはめ関数を他の画像サブセクションからの既知の推定値に適用することができる。他の実施態様では、第1の画像サブセクションから取得された構造化照明パラメータの推定値を、第2の画像サブセクションの予測構造化照明パラメータとして使用することができる。

本明細書で説明する補間技法を適用すると、第3の画像サブセクションは第1の画像サブセクションと第2の画像サブセクションとの間の空間内の点(例えば、試料位置)または温度(例えば、試料温度)に位置することができる。例えば、第3の画像サブセクションは、デカルト軸線に沿って第1の画像サブセクションと第2の画像サブセクションとの間にあってもよい。2次元デカルト空間ではサブセクションは画像を等しい面積を有する長方形に分割するグリッドによって定めることができるが、サブセクションの代替的な決定も可能である。別の例として、第3の画像サブセクションは、第1の画像サブセクションの試料温度よりも高いが、第2の画像サブセクションの試料温度よりも低い試料温度であってもよい。

本明細書で説明する外挿技術を適用すると、第3の画像サブセクションは第1の画像サブセクションおよび第2の画像サブセクションの後または前にある空間(例えば、試料位置)または温度(例えば、試料温度)内の点に位置することができる。例えば、第3の画像サブセクションは、デカルト軸線に沿って第1の画像サブセクション及び第2の画像サブセクションの両方の後に位置することができる。別の例として、第3の画像サブセクションは、第1の画像サブセクションの試料温度よりも低く、第2の画像サブセクションの試料温度よりも低い試料温度であってもよい。

実施態様では、画像のサブセクションを使用して画像の他のサブセクションの構造化照明パラメータを予測するためのこれらの技術を、1つ以上の画像から推定された構造化照明パラメータを使用して別の画像の構造化照明パラメータを予測するための本明細書で説明する技術と組み合わせて使用することができる。

本明細書で使用されるときに、コンポーネントという用語は、本出願の１つ以上の実施形態に従って実行することができる機能の所与のユニットを記述することができる。本明細書で使用されるときに、コンポーネントは、任意の形態のハードウェア、ソフトウェア、又はそれらの組み合わせを利用して実装され得る。例えば、コンポーネントを構成するために、1つ以上のプロセッサ、コントローラ、FPGA、CPU、GPU、ASIC、PLA、PAL、CPLD、論理コンポーネント、ソフトウェアルーチン、または他のメカニズムが実装されてもよい。実施形態において、本明細書で説明される様々なコンポーネントは個別のコンポーネントとして実装されてもよく、または説明される機能および特徴が1つ以上のコンポーネントの間で部分的にまたは全体的に共有されてもよい。言い換えれば、この説明を読んだ後に当業者に明らかになるように、本明細書で説明される様々な特徴および機能は、任意の所与の応用で実装することができ、様々な組合せおよび順列で1つ以上の別個のまたは共有のコンポーネントで実装され得る。機能性の様々な特徴または要素は個別のコンポーネントとして個別に説明または請求され得るが、当業者はこれらの特徴および機能性が1つ以上の共通のソフトウェアおよびハードウェア要素の間で共有され得ることを理解し、そのような説明はそのような特徴または機能性を実装するために、個別のハードウェアまたはソフトウェアコンポーネントが使用されることを必要とせず、または暗示するものではない。

図13は、本明細書で開示される方法の様々な構成を実装するために使用され得る例示的なコンピューティングコンポーネント1300を示す。コンピューティングコンポーネント1300は例えば、撮像デバイス、デスクトップ、及びノート型パソコン、ハンドヘルドコンピューティングデバイス(タブレット、スマートフォンなど)、メインフレーム、スーパーコンピュータ、ワークステーション若しくはサーバ、又は所与のアプリケーション若しくは環境にとって望ましく若しくは適切であり得る任意の他の種類の専用又は汎用コンピューティングデバイス内で見られるコンピューティング又は処理能力を表すことができる。コンピューティングコンポーネント1300はまた、所与の装置内に組み込まれた、又は所与の装置に利用可能な計算能力を表すこともできる。本明細書で使用されるときに、用語「コンピューティングデバイス」は、コンピューティングコンポーネントのハードウェアを指すことができる。

コンピューティングコンポーネント1300は例えば、プロセッサ1304のような1つ以上のプロセッサ、コントローラ、制御コンポーネント又は他の処理デバイスを含むことができる。プロセッサ1304は例えば、マイクロプロセッサ、コントローラ、又は他の制御ロジックなど、汎用又は専用の処理エンジンを使用して実装することができる。プロセッサ1304は、一種のコンピューティングデバイスであってもよい。図示された例では、プロセッサ1304はバス1302に接続されているが、任意の通信媒体を使用して、コンピューティングコンポーネント1300の他の構成要素との相互作用を容易にし、又は外部と通信したりすることができる。

コンピューティングコンポーネント1300はまた、本明細書では単にメインメモリ1308と称する1つ以上のメモリコンポーネントを含んでもよい。例えば好ましくは、ランダムアクセスメモリ（RAM）又は他のダイナミック・メモリがプロセッサ1304によって実行される情報及び命令を記憶するために使用され得る。メインメモリ1308は、プロセッサ1304によって実行される命令の実行中に、一時変数又は他の中間情報を記憶するためにも使用され得る。同様に、コンピューティングコンポーネント1300はプロセッサ1304のための静的情報及び命令を記憶するために、バス1302に結合される読出し専用メモリ（“ROM”）又は他の静的記憶デバイスを含んでもよい。

コンピューティングコンポーネント1300はまた、例えば、メディアドライブ1312及び記憶ユニットインタフェース1320を含むことができる、1つ以上の様々な形態の情報記憶機構1310を含んでもよい。媒体ドライブ1312は、固定又は取り外し可能な記憶媒体1314をサポートするためのドライブ又は他の機構を含んでもよい。例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスクドライブ、CD、DVD若しくはブルーレイドライブ(R又はRW)、又は他の取り外し可能な若しくは固定媒体ドライブを設けることができる。したがって、記憶媒体1314は例えば、ハードディスク、ソリッドステートドライブ、カートリッジ、光ディスク、CD、DVD若しくはブルーレイ、又は媒体ドライブ1312によって読み取り、書き込み、又はアクセスされる他の固定若しくは取り外し可能媒体を含むことができる。これらの例が示すように、記憶媒体1314は、コンピュータソフトウェア又はデータが記憶されたコンピュータ使用可能な記憶媒体を含むことができる。

代替の実施形態では、情報記憶機構1310は、コンピュータプログラム又は他の命令又はデータをコンピュータコンポーネント1300にロードすることを可能にするための他の類似の手段を含むことができる。そのような手段は例えば、固定又は取り外し可能な記憶ユニット1322及びインタフェース1320を含み得る。このような記憶ユニット1322及びインタフェース1320の例は、プログラムカートリッジ及びカートリッジインタフェース、取り外し可能なメモリ(例えば、フラッシュメモリ又は他の取り外し可能なメモリコンポーネント)及びメモリスロット、PCMCIAスロット及びカード、並びに、ソフトウェア及びデータを記憶ユニット1322からコンピューティングコンポーネント1300に転送することを可能にする他の固定又は取り外し可能な記憶ユニット1322及びインタフェース1320を含むことができる。

コンピューティングコンポーネント1300はまた、通信インタフェース1324を含んでもよい。通信インタフェース1324は、ソフトウェア及びデータを、コンピューティングコンポーネント1300と外部デバイスとの間で転送することを可能にするために使用されてもよい。通信インタフェース1324の例は、ピーシーアイエクスプレス（PCIe）インタフェース等の周辺インタフェース、モデム若しくはソフトモデム、ネットワークインタフェース(イーサネット（登録商標）、ネットワークインターフェースカード、WiMedia、IEEE 802.XX又はその他のインタフェースなど)、Bluetooth（登録商標）インタフェース、通信ポート(USB（登録商標）ポート、USB-Cポート、THUNDERBOLT（登録商標）ポート、又はその他のポートなど)、又はその他の通信インタフェースを含むことができる。通信インタフェース1324を介して転送されるソフトウェア及びデータは、典型的には所与の通信インタフェース1324によって交換されることが可能な、電子的、電磁気的(光を含む)、又は他の信号であり得る、信号上で搬送され得る。これらの信号は、チャンネル1328を介して通信インタフェース1324に提供されてもよい。このチャンネル1328は、信号を搬送することができ、有線又は無線通信媒体を使用して実装することができる。チャネルのいくつかの例は、電話回線、セルラリンク、RFリンク、光リンク、ネットワークインタフェース、ローカル又はワイドエリアネットワーク、及び他の有線又は無線通信チャネルを含むことができる。

本明細書では、用語「コンピュータ読取可能媒体」、「コンピュータ使用可能媒体」及び「コンピュータプログラム媒体」が一般に、例えば、メモリ1308、記憶ユニット1322及び媒体1314などの、揮発性又は不揮発性の、非一時的な媒体を指すために使用される。これら及び他の様々な形態のコンピュータプログラム媒体又はコンピュータ使用可能媒体は、実行のために1つ以上の命令の1つ以上の配列をプロセッサに搬送することに関与することができる。媒体に組み込まれるそのような命令は一般に、「コンピュータプログラムコード」又は「コンピュータプログラム製品」(コンピュータプログラム又は他のグループの形態でグループ化することができる)と呼ばれる。そのような命令は、実行されるときに、コンピューティングコンポーネント1300が本明細書で説明される本願の構成又は機能を実行することを可能にすることができる。

様々な例示的実施形態および実装に関して上述したが、個々の実施形態のうちの1つ以上に記載された様々な構成、態様、および機能はそれらの利用可能性において、それらが記載されている特定の実施形態に限定されず、その代わりに、そのような実施形態が記載されているかどうか、およびそのような構成が記載されている実施形態の一部として提示されているかどうかにかかわらず、単独で、または様々な組合せで、本願の他の実施形態のうちの1つ以上に適用することができることを理解されたい。したがって、本願の幅および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではない。

本明細書で使用されている用語及び語句、ならびにそれらのバリエーションは別途明示的に記載されていない限り、限定ではなく、オープンエンド型の意味にとる必要がある。前述の例として、「含む」という用語は「限定なしに含む」などを意味するものとして解釈されるべきであり、「例」という用語は論議中の項目の典型的な例を提供するために使用され、その項目を網羅または限定するものではなく、「1つの（”a” or “an”）」という用語は「少なくとも1つの」、「1つ以上の」などを意味するものとして解釈されるべきであり、「従来の」、「伝統的な」、「通常の」、「標準の」、「既知の」などの形容詞、および同様の意味の用語は記載された項目を、所与の期間に、または所与の時間に利用可能な項目に限定するものと解釈されるべきではなく、代わりに、現在または将来において利用可能であるか、または既知である可能性がある従来の、伝統的な、通常の、または標準の技術を包含するものと解釈されるべきである。同様に、本明細書が当業者に明らかであろう又は知られているであろう技術に言及する場合、そのような技術は、現在又は将来の任意の時点で当業者に明らかであるか又は知られている技術を包含する。

場合によっては、「1つ以上」、「少なくとも」、「ただし、これらに限定されない」などの拡張語および句、または他の同様の句の存在はそのような拡張語句が存在しない可能性がある場合に、より狭い場合が意図され、または必要とされることを意味すると解釈されるべきではない。

さらに、本明細書に記載される様々な実施形態は、例示的なブロック図、フローチャート、および他の図に関して説明される。本明細書を読んだ後に当業者には明らかになるように、例示された実施形態およびそれらの様々な代替形態は、例示された例に限定されることなく実施することができる。例えば、ブロック図及びそれらに付随する説明は、特定のアーキテクチャ又は構造を指定するものとして解釈されるべきではない。

特許請求の範囲を含む、本開示全体にわたって使用される「実質的に」および「約」という用語は処理の変化などによる小さな変動を記述し、説明するために使用される。例えば、これらの用語は、±5%以下、例えば±2%以下、例えば±1%以下、例えば±0.5%以下、例えば±0.2%以下、例えば±0.1%以下、例えば±0.05%以下を指すことができる。

適用可能な範囲で、本明細書における用語「第1」、「第2」、「第3」などは、単に、これらの用語によって説明されるそれぞれの対象を別個のエンティティとして示すために使用され、本明細書において明示的に別段の記載がない限り、時系列順の意味を暗示することを意味しない。

本開示のさまざまな実施形態が上述されてきたが、それらは限定ではなく、例としてのみ提示されてきたことが理解されるべきである。同様に、様々な図は、本開示に含まれ得る構成および機能を理解するのを助けるために行われる、本開示のための例示的なアーキテクチャまたは他の構造を示すことができる。本開示は例示されたアーキテクチャまたは構造に限定されるものではないが、所望の特徴は種々の代替アーキテクチャおよび構造を使用して実施することができる。実際、本開示の所望の構成を実施するために、代替の機能的、論理的、または物理的なパーティションおよび構造をどのように実施することができるかは、当業者には明らかであろう。また、本明細書に示されたもの以外の多数の異なる構成モジュール名を、様々なパーティションに適用することができる。さらに、フロー図、動作説明、及び方法クレームに関して、本明細書でステップが提示される順序は文脈が別段の指示をしない限り、様々な実施形態が、記載された機能を同じ順序で実行するように実装されることを強制するものではない。

本開示は様々な例示的な実施形態および実装に関して上記で説明されているが、個々の実施形態のうちの1つ以上において説明されている様々な構成、態様、および機能はそれらの利用可能性において、それらが説明されている特定の実施形態に限定されず、その代わりに、そのような実施形態が説明されているかどうか、およびそのような特徴が説明されている実施形態の一部として提示されているかどうかにかかわらず、単独で、または様々な組合せで、本開示の他の実施形態のうちの1つ以上に適用することができることを理解されたい。したがって、本開示の幅および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではない。

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開示に現れる請求される主題の全ての組み合わせは、本明細書に開示される本発明の主題の一部であると考えられる。

Claims (25)

1. 構造化照明システムを使用して、試料の第１画像を捕捉するステップと、
   コンピューティングデバイスを使用して、少なくとも捕捉された前記第１画像を用いて第１構造化照明パラメータを推定するステップと、
   前記構造化照明システムを使用して、前記試料の第２画像を捕捉するステップと、
   前記コンピューティングデバイスを使用して、少なくとも捕捉された前記第２画像を用いて第２構造化照明パラメータを推定するステップと、
   前記コンピューティングデバイスを使用して、少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測するステップと、
   を含む方法。
2. 前記第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照明パラメータのそれぞれは、位相、周波数、配向又は変調次数を含む、請求項１に記載の方法。
3. 前記第１画像は、第１時間に捕捉され、
   前記第２画像は、前記第１時間の後の第２時間に捕捉され、
   前記第３画像は、前記第１時間と前記第２時間との間の第３時間に捕捉され、
   前記第３構造化照明パラメータは、少なくとも内挿法を用いることによって前記第３時間に予測される、請求項１又は２に記載の方法。
4. 前記内挿法は、
   前記コンピューティングデバイスを使用して、前記第１時間における前記第１構造化照明パラメータから、前記第２時間における前記第２構造化照明パラメータまでの変化率を決めるステップと、
   前記コンピューティングデバイスを使用して、少なくとも決められた前記変化率を用いて、前記第３時間における前記第３構造化照明パラメータを予測するステップを含む、請求項３に記載の方法。
5. 前記コンピューティングデバイスを使用して、少なくとも前記第３画像及び前記第３構造化照明パラメータを用いて高分解能画像を構築するステップを更に含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記第１画像は、第１時間に捕捉され、
   前記第２画像は、前記第１時間の後の第２時間に捕捉され、
   前記第３画像は、前記第１時間及び前記第２時間の両方の後又は前の第３時間に捕捉され、
   前記第３構造化照明パラメータは、少なくとも外挿法を用いることによって前記第３時間に予測される、請求項１又は２に記載の方法。
7. 少なくとも前記第３構造化照明パラメータを用いて、前記構造化照明システムのハードウェアコンポーネントを調整して、前記第３時間において前記第３画像を捕捉する前の構造化照明システムパラメータの変化に対して補償するステップを更に含む、請求項６に記載の方法。
8. ハードウェアコンポーネントを調整するステップは、
   構造化照明パターンの位相又は配向を調整する回転ミラーを調節すること、
   回折格子を担持し構造化照明パターンの位相又は配向を調整する並進ステージを調節すること、及び
   構造化照明パターンの位相又は配向を調整する試料並進ステージを調節すること、
   の１つ以上を含む、請求項７に記載の方法。
9. 前記構造化照明システムのメモリに、前記第１構造化照明パラメータ、前記第２構造化照明パラメータ及び前記第３構造化照明パラメータを記憶するステップと、
   記憶される前記第１構造化照明パラメータ、記憶される前記第２構造化照明パラメータ、記憶される前記第３構造化照明パラメータ、及び前記構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させるステップと、
   を更に含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記第３画像に対応する前記第３構造化照明パラメータを予測するステップは、最小二乗適合を少なくとも前記第１構造化照明パラメータ及び前記第２構造化照明パラメータに適用することを含む、請求項１〜９のいずれか一項に記載の方法。
11. 前記第３画像に対応する前記第３構造化照明パラメータを予測するステップは、前記第２構造化照明パラメータを用いることを含む、請求項１又は２に記載の方法。
12. 前記試料の前記第１画像は第１試料温度で捕捉され、
    前記第１構造化照明パラメータは前記第１試料温度で推定され、
    前記試料の前記第２画像は第２試料温度で捕捉され、
    前記第２構造化照明パラメータは前記第２試料温度で推定され、
    前記第３構造化照明パラメータは第３試料温度で予測される、請求項１に記載の方法。
13. 前記試料の前記第１画像を複数の画像サブセクションに分割するステップと、
    前記コンピューティングデバイスを使用して、少なくとも前記複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、
    前記コンピューティングデバイスを使用して、少なくとも前記複数の画像サブセクションの第２画像サブセクションを用いて第５構造化照明パラメータを推定するステップと、
    前記コンピューティングデバイスを使用して、少なくとも前記第４構造化照明パラメータ又は前記第５構造化照明パラメータを用いて、前記複数の画像サブセクションの第３画像サブセクションに対応する第６構造化照明パラメータを予測するステップと、
    を更に含む、請求項１〜８のいずれか一項に記載の方法。
14. 前記試料の前記第１画像を複数の画像サブセクションに分割するステップと、
    前記コンピューティングデバイスを使用して、少なくとも前記複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、
    推定される前記第４構造化照明パラメータを、前記複数の画像サブセクションの第２画像サブセクションの予測される構造化照明パラメータとして用いるステップと、
    を更に含む、請求項１〜８のいずれか一項に記載の方法。
15. 非一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、前記非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、前記命令はプロセッサによって実行されるときに、前記プロセッサに、
    構造化照明システムを使用して前記試料の第１画像を捕捉する動作と、
    少なくとも捕捉される前記第１画像を用いて第１構造化照明パラメータを推定する動作と、
    前記構造化照明システムを使用して試料の第２画像を捕捉する動作と、
    少なくとも捕捉される前記第２画像を用いて第２構造化照明パラメータを推定する動作と、
    少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測する動作と、
    を実施させる、非一時的なコンピュータ読取可能媒体。
16. 前記第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照明パラメータのそれぞれは、位相、周波数、配向又は変調次数を含む、請求項１５に記載の非一時的なコンピュータ読取可能媒体。
17. 前記第１画像は、第１試料位置で捕捉され、
    前記第２画像は、第２試料位置で捕捉され、
    前記第３画像は、前記第１試料位置と前記第２試料位置との間の第３試料位置で捕捉され、
    前記第３構造化照明パラメータは、少なくとも内挿法を用いることによって前記第３試料位置で予測される、請求項１５又は１６に記載の非一時的なコンピュータ読取可能媒体。
18. 前記内挿法は、
    前記第１試料位置における前記第１構造化照明パラメータから、前記第２試料位置における前記第２構造化照明パラメータまでの変化率を決めるステップと、
    少なくとも決められた前記変化率を用いて、前記第３試料位置における前記第３構造化照明パラメータを予測するステップと、
    を含む、請求項１７に記載の非一時的なコンピュータ読取可能媒体。
19. 前記命令はプロセッサによって実行されるときに、前記プロセッサに、少なくとも前記第３画像及び前記第３構造化照明パラメータを用いて高分解能画像を構築する動作を更に実施させる、請求項１５又は１６に記載の非一時的なコンピュータ読取可能媒体。
20. 第３試料位置は、第１試料位置及び第２試料位置の後に存在し、
    前記第３構造化照明パラメータは、少なくとも外挿法を用いることによって前記第３試料位置で予測される、請求項１５又は１６に記載の非一時的なコンピュータ読取可能媒体。
21. 前記命令は前記プロセッサによって実行されるときに、前記プロセッサに、更に少なくとも前記第３構造化照明パラメータを用いて、前記構造化照明システムのハードウェアコンポーネントを、前記第３試料位置において画像を捕捉する前の、構造化照明パラメータの変化に対して補償するように調整させる動作を行わせる、請求項２０に記載の非一時的なコンピュータ読取可能媒体。
22. 調整される前記ハードウェアコンポーネントは、
    構造化照明パターンの位相又は配向を調整する回転ミラー、
    回折格子を担持するとともに構造化照明パターンの位相又は配向を調整する並進ステージ、又は
    構造化照明パターンの位相又は配向を調整する試料並進ステージ、
    を含む、請求項２１に記載の非一時的なコンピュータ読取可能媒体。
23. 前記命令は前記プロセッサによって実行されるときに、前記プロセッサに、
    前記構造化照明システムのメモリに、前記第１構造化照明パラメータ、前記第２構造化照明パラメータ及び前記第３構造化照明パラメータを記憶する動作と、
    記憶される前記第１構造化照明パラメータ、記憶される前記第２構造化照明パラメータ、記憶される前記第３構造化照明パラメータ、及び前記構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させる動作と、
    を更に実施させる、請求項１５〜２２のいずれか一項に記載の非一時的なコンピュータ読取可能媒体。
24. 光を放出する発光体と、
    前記発光体が放出する光を分割して構造化照明パターンを試料の面に投影するビームスプリッタと、
    プロセッサと、
    非一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、前記非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、前記命令は前記プロセッサによって実行されるときに、前記プロセッサに、
    試料の第１画像を捕捉する動作と、
    少なくとも捕捉される前記第１画像を用いて第１構造化照明パラメータを推定する動作と、
    前記試料の第２画像を捕捉する動作と、
    少なくとも捕捉される前記第２画像を用いて第２構造化照明パラメータを推定する動作と、
    少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測する動作と、
    を実施させる、非一時的なコンピュータ読取可能媒体と、
    を備える、構造化照明撮像システム。
25. 構造化照明システムを使用して、試料の第１の複数画像を捕捉するステップと、
    コンピューティングデバイスを使用して、少なくとも捕捉される前記第１の複数画像を用いて第１構造化照明パラメータを推定するステップと、
    前記構造化照明システムを使用して、前記試料の第２の複数画像を捕捉するステップと、
    前記コンピューティングデバイスを使用して、少なくとも捕捉される前記第２の複数画像を用いて第２構造化照明パラメータを推定するステップと、
    前記コンピューティングデバイスを使用して、少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、１つ以上の画像に対応する第３構造化照明パラメータを予測するステップと、
    を含む、方法。

Images