JP2022046447A - 構造化方式で照明される顕微鏡画像の超高解像度評価方法及び構造化照明顕微鏡 - Google Patents

Abstract

【課題】構造化照明される顕微鏡画像の超解像度評価の方法及び構造化照明を有する顕微鏡を提供する。解像度は面内において、従来の線形構造化照明（ＳＩＭ）を用いて２倍改善できる。非線形反復方式が逆重畳のために使用された場合、実現可能な分解能は理論上の限界を超えて改善できる。しかしながら、既知の方ではわずかな改善しか実現できない。【解決手段】新規な方法は、改善された解像度又は改善されたコントラストを可能にするためのものである。関連する次数空間周波数スペクトルと同じ（又は対応する）方法で（各次数について個別に）操作されたＰＳＦ／ＯＴＦが空間周波数領域内での再重み付け中に（逆重畳のために）使用された場合、実際に実現可能な解像度は、１段階又は２段階型のどちらにおいても従来のＳＩＭのほぼ２倍とすることができる。また構造化照明顕微鏡（ＳＩＭ）を提供する。【選択図】図６

Description

本発明は、試料の顕微鏡画像の超解像度評価の方法に関し、これは、試料を周期的に構造化される照明光により異なる位相で照明することによって、顕微鏡を用いて逐次的に記録される試料の複数のデジタル原画像を提供するステップと、顕微鏡のイメージングを表す光学伝達関数を提供するステップと、生画像に基づいて複数の次数空間周波数スペクトルを確認するステップと、中間結果画像空間周波数スペクトルを再構成するステップと、確認された各次数空間周波数スペクトルに関する光学伝達関数に重み付けするステップと、確認された各次数空間周波数スペクトルの重み付けされた光学伝達関数に基づいて中間結果画像空間周波数スペクトルに再重み付けするステップと、を含む。本発明はさらに、それに対応して設計された構造化照明を有する顕微鏡に関する。

既知の顕微鏡の解像度は、顕微鏡対物レンズ内で試料が受ける光の回折によって、その開口及び光の波長に依存する。可視光の利用可能な波長範囲は有限であるため、顕微鏡の解像度は原理上限定される（アッベ（Abbe）、１８７３年）。画像化しようとする試料の空間周波数に関して、これは、空間周波数領域での顕微鏡の光学伝達関数（OTF : optical transfer function）をサポートできるのが座標原点周辺の有限領域に限定されることを意味する。その結果、顕微鏡はこのサポートがなくならない間隔内にある空間周波数しか画像化できない。ＯＴＦは、顕微鏡の点像分布関数（PSF : point spread function）を空間周波数領域に変換したものである。ＰＳＦは、点光源が顕微鏡を通じてどのように画像化されるかを示す。

従来の、複数の異なる角度からの試料の構造化照明及びそれに続く、位相ごとに記録された原画像の計算（「構造化照明顕微鏡－ＳＩＭ（structured illumination microscopy）として知られる）によれば、照明の励起強度と試料の発光強度が線形に関係付けられれば、面内解像度は最大２倍まで改善できる。ＳＩＭは、例えば特許文献１及び非特許文献１において開示されている。これは、検査対象の試料に対する空間的な周期的光構造を、例えば光学格子の下流の照明光の正弦波干渉によって生成することに基づく。顕微鏡のＰＳＦを用いた空間領域での試料応答の畳み込みにより、空間周波数領域におけるＯＴＦのサポート範囲を超える試料構造の空間周波数領域は中央サポート間隔にシフトし、そこではこれらがそこにおけるもともとの空間周波数強度に重畳され、それによって原画像の中にモアレ効果が見える。ここで各原画像のフーリエ変換は、それぞれの周波数バンドにおける試料の空間周波数スペクトルの、周波数のシフトした複数の「コピー」を含んでいる。これらのコピーの各々を個別の（separate）「次数（order）」と呼ぶ。その数は、そこから周期的光構造が生成される相互に干渉し合うビームの数によって決まる。

ＳＩＭ方式によれば、シフトした及び原空間周波数の重畳を含むこのような原画像の集合から、サポート間隔の原空間周波数と構造化照明によって一時的にサポート間隔へとシフトされたより高い原空間周波数の両方を含む結果画像を再構成することが可能となる。その結果、結果画像は、均一な照明による従来の１つの記録より高い面内解像度を有する。この解像度は、顕微鏡の回折限界解像度より細かい場合、超解像度と呼ばれる。

ＳＩＭはまた、軸方向の超長解像度も実現できる（３Ｄ－ＳＩＭと呼ばれる）。このために、試料中の照明は軸方向にも周期的に構造化されなければならず、Ｎ個の試料平面の各々について、関係する平面からの原画像の別々の集合が記録される。Ｎ個全ての試料平面内の相互作用を説明する方程式系から、軸方向に、特に面内方向にも超解像度を有するＮ個の結果画像からｚスタックを計算することができる。３Ｄ－ＳＩＭは非特許文献２に記載されている。

従来、ＳＩＭ原画像の画像評価のためには以下の５つのステップが行われる：
１．次数空間周波数スペクトルを確認する（すなわち、特に高解像度情報を搬送する周波数バンドを抽出し、分離する）。この目的のために、原画像に含まれるモアレパターンが空間周波数領域内の一次方程式系を解くことによって復号され、それゆえ各次数のそれぞれの空間周波数スペクトルが確認される。３Ｄの場合、方程式系は複数の試料平面を説明しており、次数空間周波数スペクトルは３次元である。

２．原画像から照明パターンの位相角と実際の繰返し周波数（例えば、格子周波数）を特定する。これらのパラメータに基づいて、好ましくは、後のステップでアーチファクトを最小化できる。このステップは絶対的に必要というわけではないが、実際にはそれによって実験の不正確さを補償することができる。

３．次数空間周波数スペクトルの周波数フィルタリングを行い、繰返し周波数、特に低周波数バックグラウンド（low-frequency background）（これは、その後のシフトによってより高い周波数へと移り、そこで最終画像のアーチファクトにつながる）を抑制する。

４．第一のステップで抽出された周波数バンドを空間周波数領域内の対応する位置へとシフトさせる（その後のステップで空間周波数領域内の高解像度画像をまとめることができるようにするため）。

５．シフトされた周波数バンドをまとめて、以下を含む複合ステップで超解像度の結果画像空間周波数スペクトルを構成する：
ａ．シフトされた周波数領域と、ｉ）個々の周波数の照明強度の違いによる照明コンポーネントに基づく重み及び、ｉｉ）光学伝達関数から得られる重みとの重み付け加算、
ｂ．汎用ウィーナーフィルタ（Wiener filter）を用いた構成物の、特に周波数バンドの内縁における平滑化、
ｃ．アポダイゼーション関数の利用によるウィーナーフィルタにより生成されたリンギングアーチファクトの抑制。

最後に、超解像度の結果画像は、空間周波数領域から空間領域へと逆フーリエ変換によって変換される。
この従来の手順の代替案として２段階評価方式が知られており、この場合、第五のステップで、上述のサブステップの代わりに、照明コンポーネントにのみに基づいて（ＰＳＦ又はＯＴＦに基づかない）、ウィーナーフィルタを用いずに重み付けすることによって、まず中間結果画像空間周波数スペクトルを確認する。追加の（第六の）ステップで、超解像度の結果画像空間周波数スペクトルは、全ての次数から合成された全体的ＰＳＦ（ＳＩＭの場合）に基づく、又はそれに対応する合成された全体的ＯＴＦに基づく中間結果画像空間周波数スペクトルの逆重畳によって確認される。逆重畳のために非線形方式が用いられる場合、実現可能な解像度は、１段階ＳＩＭの（及び線形逐次近似による２状態（two-state）ＳＩＭの）理論的限界を超えて改善でき、これは、非負制約等の先験的に知られている制約によって、ＰＳＦのサポート範囲を超える周波数も再構成できるからである（非特許文献３）。これは特に、リチャードソン－ルーシ（Richardson-Lucy）方式として知られるものにも当てはまる（非特許文献４）。

このような２次元のケースのＳＩＭ方式は、ペレス（Perez）らにより非特許文献５において説明されている。この場合、原画像はそれに加えて、顕微鏡ＰＳＦ又は顕微鏡ＯＴＦに基づいて逆重畳されてから、アーチファクト抑制のための処理がさらに行われる。３次元のケースは、ジャンらにより非特許文献６において説明されている。どちらのケースの逆重畳も、そのタイトルの通り、リチャードソン－ルーシによる逐次近似法によって行われる。しかしながら、実現される解像度はウィーナーフィルタを用いた従来の１段階評価の理論上の最大値を、ジャン（Zhang）らのケースで１３％超えるにすぎず、ペレスらのケースで２０％超えるにすぎない。

独国特許出願公開第１９９０８８８３Ａ１号明細書

Ｍ．グスタフソン（M. Gustafsson）による論文、「構造化照明顕微鏡検査法を用いて面内解像度限界を２倍に改善する（Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy）」、ジャーナル・オブ・マイクロスコピ（Journal of Microscopy）、第１９８巻、２０００年、８２ページ） グスタフソン（Gustafsson）ら著、「構造化照明による広視野蛍光顕微鏡検査法における３次元解像度の倍増（Three-Dimensional Resolution Doubling in Wide-Field Fluorescence Microscopy by Structured Illumination）」、ジャーナル・オブ・バイオフィジクス（Biophys. J.）、第９４巻、２００８年、４９５７ページ バービア（Verveer）ら著、「３次元時共焦点広視野蛍光顕微鏡検査法に適用される画像復元方法の比較（A comparison of image restoration approaches applied to three-dimensional confocal and wide-field fluorescence microscopy ）」、ジャーナル・オブ・マイクロスコピ（J. Micr.）、第１９３巻、１９９９年、５０ページ） ビッグス（Biggs）、「３Ｄ逆重畳顕微鏡検査法（3D Deconvolution Microscopy）」、カレント・プロトコルズ・イン・サイトメトリ（Current Protocols in Cytometry）、１２．１９．１－１２．１９．２０、２０１０年４月 「リチャードソン－ルーシ逆重畳を用いた２つのフィルタ処理ステップによる最適な２Ｄ－ＳＩＭ再構成（Optimal 2D-SIM reconstruction by two filtering steps with Richardson-Lucy deconvolution）」、サイエンティフィック・レポーツ（Scientific Reports）、６：３７１１４９ 「３次元構造化照明顕微鏡検査法のためのリチャードソン－ルーシ逆重畳に基づく超解像度アルゴリズム（Super-resolution algorithm based on Richardson-Lucy deconvolution for three-dimensional structured illumination microscopy）」、米国光学会学会誌Ａ（Journal of the Optical Society of America A）、第３６巻、第２号

本発明は、導入部に記載した種類の方法及び顕微鏡を改良して、改善された解像度又は改善されたコントラストが得られるようにする目的に基づく。

この目的は、請求項１に明記された特徴を有する方法によって、及び請求項１４に明記された特徴を有する顕微鏡によって達成される。
本発明の有利な改良点は、従属請求項に明記される。

本発明は、２段階再構成には１段階再構成と比較して確かに多大な利点があるものの、現在まで知られている手順における逆重畳のための空間周波数領域内の最終的な再重み付けで実現できる解像度の改善は可能なかぎりの最大とは言えず、それは、現在まで、評価に適応されていないＰＳＦ又はＯＴＦが使用されているからであるとの知見に基づく。具体的な理由は、既知の方法では異なる次数からの寄与が評価の過程で操作されるが、ＰＳＦ又はＯＴＦは変わらない（空間周波数領域での必要なシフトを除く）ことである。しかしながら、（逆重畳のための）再重み付け中に本発明によって関係する次数の空間周波数領域と同じ（また対応する）方法で（各次数について個別に）操作されるＰＳＦ／ＯＴＦを使用すれば、実際に実現可能な解像度は、１段階及び２段階型の何れにおいても従来のＳＩＭと比較してほぼ２倍とすることができる。本発明はここで、反復的逆重畳方式に限定されず、非反復的方法でも実装できる。しかしながら、それによって実現できるのは従来のＳＩＭと比較した解像度の大幅な改善ではなく、コントラストの改善である。

したがって、本発明は再構成の前又はその最中に次数空間周波数スペクトルの少なくとも１つの操作に対応して、再重み付けの前又はその最中の（すなわち、それと同じ計算ステップでの）関係する次数空間周波数スペクトルのための光学伝達関数の操作も提供し、その結果、再重み付けは操作されたＯＴＦに基づいて行われる。この場合の操作は、（既知の、必要な）空間周波数領域における当初の周波数バンドへのシフトではなく、例えば、ＯＴＦの異なる空間周波数成分間の相対的再重み付けである。特に、操作中の相対的再重み付けは、離散周波数領域の全ての強度の総和がＯＴＦの変化に含められるように行うことができる。

中間結果画像空間画像スペクトルの逆重畳中に次数空間周波数と同様に操作される光学伝達関数を使用することによって、逆重畳された結果画像の解像度は実質的に高くなる。ＯＴＦの対応する操作は、例えば、次数空間周波数スペクトルにおけるものと同じアルゴリズム又は同じ数学的演算を用いて行うことができる。

提供されるＯＴＦ（ＰＳＦ）が顕微鏡光学ユニットによりもたらされる原画像（raw images）の特性を提示するのと同様に、走査されたＯＴＦ（ＰＳＦ）はまた、それに加えて原画像のデジタル処理によりもたらされる特性も提示する。これによって反復的方法の大幅な改善が可能となるが、それは、反復回数を十分に大きくできることによる。このようにして、結果画像において最大約６０ｎｍの解像度を実現できる。

これを実現するために、例えば確認すべき次数空間周波数スペクトルの数に対応する数のＯＴＦのコピーが提供される。各ＯＴＦコピーはそれぞれの次数空間周波数スペクトルに一意的に割り当てられ、その結果、正確に１つのＯＴＦコピーが各次数空間周波数スペクトルに属することになる。各コピーにおいて、ＯＴＦは空間周波数領域内の、関連する次数に対応する位置にシフトされる。次数空間周波数スペクトルのうちの１つの操作が行われると、関連するＯＴＦも対応する方法で操作される。１つの次数空間周波数スペクトルに対して複数の操作が行われる場合、そのすべてが、又はそのうちの実際の部分集合のみをＯＴＦに対してもそれに従って行うことができる。ここでは、操作が空間領域で行われるか、空間周波数領域で行われるかは関係ない。

最も単純なケースでは、提供されるＯＴＦ（そこから例えば、上述のような周波数領域内でシフトされたコピーが作成される）はガウスＰＳＦに基づくことができる。先行技術において知られ、例えばペレスら及びジャンら（リチャーズとウルフ（Richards and Wolf）：「光学系における電磁回折ＩＩ．無収差系における鏡像力場の構造（Electromagnetic diffraction in optical systems, II. Structure of the image field in an aplanatic system）」、ロンドン・ロイヤル・ソサエティ会報シリーズＡ（Proc. R. Soc. London Ser. A）、第２５３巻３５８ページによる３Ｄ－ＰＳＦ）により使用されている典型的な顕微鏡ＯＴＦ（広視野）によって格段によりよい結果を実現できる。代替的に、ＯＴＦはその他のＰＳＦモードに基づいても提供できる。

代替的に、提供されるＯＴＦは測定されるＯＴＦ又はＰＳＦに基づいて確認できる。特に、このような測定は、実際の試料の原画像を記録するのに使用された関連する顕微鏡の較正用試料として少なくとも１つの（準（quasi））点状蛍光光源（例えば１つ又は複数のビード（bead））により実行できる。この目的のために、単純な広視野記録（回折限界による）を行うことができ、これはＰＳＦを直接含む。代替的に、構造化照明は複数の照明位相で実行でき、毎回、各位相で１つの個別の画像が記録される。複数の次数（orders）はＳＩＭにおいて較正用試料の個々の画像からモアレパターンの復調によって分離され、例えば好ましくは実際の試料の原画像から確認される１つ又は複数の実際の繰返し周波数に基づいて、空間周波数領域内のそれらのもともとの位置にシフトされ、それらのそれぞれの照明強度に基づいて結合される。その結果がＯＴＦとして提供される。

代替的に、提供されるＯＴＦは関連する顕微鏡を通じた１つ又は複数の点光源のイメージング動作のシミュレーションによって確認できる。この場合、構造化照明のシミュレーションは、複数の照明位相で行うことができ、その照明パラメータは原画像に基づいて特定される。例えば、光構造の１つ又は複数の実際の繰返し周波数と、その原画像が記録されたそのそれぞれの実際の位置及び／又は向きを原画像から確認できる。すると、シミュレートされたＳＩＭの個々の画像の構造化照明が、１つ又は複数の実際の繰返し周波数に基づいて、関係する原画像に属する実際の位置及び／又は向きにおいて行われる。複数の次数は、モアレパターンの復調によってこれらの個々の画像から分離され、例えば１つ又は複数の実際の繰返し周波数に基づいて、空間周波数領域内のそれらのもともとの位置にシフトされ、それらのそれぞれの照明強度に基づいて結合される。その結果がＯＴＦとして提供される。

本発明の意味において、照明光は、原画像の記録に使用された検出方向の光軸を横切って１次元的（ラインパターン）又は２次元的（クロスグリッドパターン）に周期的に構造化され、特に少なくとも１つの対応する繰返し周波数を有する。照明光は、検出対物レンズを通じて放射されると、典型的に少なくともその伝播方向を横切って周期的に構造化される。これは、１次元的、２次元的、又は３次元的に、典型的にそれぞれ正弦波として構造化でき、その場合、繰返し周波数は空間方向によって異なることができるが、これは必須ではない。例えば光シートの形態の第二の対物レンズにより放射されると、照明光はその伝播方向（照明の光軸）に関して長さ方向に構造化できる（その場合は、１次元のみで、すなわちその伝播方向を横切らない）。次数空間周波数スペクトルは特に、各々のケースで、それらの２つが照明光の異なる空間周波数バンド（「次数」という）からの空間周波数の寄与を含み、それによって、原画像と比較して改善された解像度の中間結果画像を再構成することができる。この目的のために、原画像は（任意選択により、前処理の後に）空間領域から空間周波数領域へと、特に積分変換によって、又は離散変換によって、例えばラプラス変換、フーリエ変換、ウェーブレット変換、若しくはＺ変換によって、又はスペクトル分析に適したその他の変換によって変換できる。次数は、構造によって、特に原画像の干渉構造によって定義される。その空間領域への（逆）変換（すなわち、中間結果画像）が原画像より高い解像度を有する、中間結果画像スペクトルの再構成は、特に次数空間周波数スペクトルに基づいて行われる。光学伝達関数は好ましくは、原画像の記録中の顕微鏡のイメージング（imaging）を表すことができる。原画像を記録するのに用いられる顕微鏡は、この場合、特に仮想顕微鏡であり、原画像はシミュレーションから記録される。再重み付けは特に、再重み付けが点像分布関数に基づく空間領域の逆重畳に対応するように実行できる。再重み付けの後、中間結果画像空間周波数スペクトルは好ましくは、空間周波数領域から空間領域へと（典型的に、前述の積分変換又は離散変換の逆変換により）逆に変換されて、超解像度結果画像が確認され（、それによってＰＳＦの中間結果画像が逆重畳され）る。しかしながら、このような逆変換は何れの場合にも必要というわけではない。例えば、その後の処理のためにとにかく結果画像の空間周波数スペクトルだけが必要である場合、逆変換は省くことができる。

有利な点として、次数空間周波数スペクトルの各々は少なくとも１つの画像処理ステップで操作され、それによって中間結果画像は、操作された次数空間周波数スペクトルに基づいて再構成することができ、その解像度は原画像と比較して増大されている。原画像より高い解像度を有する中間結果画像は、好ましくは操作された次数空間周波数スペクトルに基づいて再構成される。

この場合、従来のＳＩＭ方式のステップ１～５をここで本発明により実行できる。代替的に、既知の２段階方式のステップ１～６を実行できる。本発明によれば、ＯＴＦ（又はＰＳＦ）がこれらの方法で使用される場合は常に、対応する操作されたＯＴＦ（又はＰＳＦ）が使用される。

操作（manipulation）が、特にそれぞれの座標原点の周囲（すなわち、ゼロ周波数の位置の周囲）で、空間周波数依存演算（spatial-frequency-dependent operation）、特に空間周波数依存重み付け、特に空間周波数依存フィルタ処理（抑制）、より特に、空間周波数依存ノッチフィルタ処理（ノッチ内で抑制）を含むか、又はそれである実施形態は特に有利である。特に重み付け又はフィルタ処理の形態のこのような動作はＰＳＦ／ＯＴＦの品質に重要な影響を与える。このようにして、既知のＳＩＭの解像度を超える解像度の大幅な改善を実現できる。照明構造のゼロ次をフィルタ処理することによって、特に次数空間周波数スペクトルの中の焦点のずれた光を特に有効に抑制できる。ＯＴＦの対応するフィルタ処理により、逆重畳の一部としての特に高い分解能が可能になる。それがなければ、焦点のずれた背景のほうが像面内に含まれる構造にまさることになる。代替的又は追加的に、ローパスフィルタを使って高周波数ノイズ又はカメラごとの周波数（例えば、ｓＣＭＯＳ検出器のストリップ）を抑制できる。

ここで、試料中の照明光が少なくとも１つの繰返し周波数を有し、空間周波数依存フィルタ処理が、同じく少なくとも１つの繰返し周波数に依存するノッチフィルタ処理、特に照明構造化周波数（換言すれば、少なくとも１つの繰返し周波数）の抑制のためのノッチフィルタ処理を含んでいれば有利である。繰返し周波数に依存するこのフィルタ処理は、前述のゼロ次（繰返し周波数に依存する）のフィルタ処理の代わりに、又はそれに加えて、特にその次数の中心付近で、例えばノッチフィルタを使用する場合のように、より高い非ゼロ次を（抑制するように）フィルタ処理することができる。それによってアーチファクトを軽減できる。

特に好ましいのは、照明光が画像記録の光軸に沿って周期的構造化され、異なる原画像が試料の異なる平面から発せられる実施形態であり、その場合、試料の異なる平面からの原画像に基づく次数空間周波数スペクトルの確認は、３次元空間周波数スペクトルが確認されるように行われ、光学伝達関数は３次元的に提供され、逆重畳は３次元的に行われる。このような実施形態により、３Ｄ－ＳＩＭであっても解像度を大きく高めることが可能となる。

中間結果空間周波数スペクトルの再構成において、好ましくは、光学伝達関数に基づく次数空間周波数スペクトルの重み付けが行われないが、（それぞれの）光学伝達関数に基づく次数空間周波数スペクトルの重み付けも可能である。有利な点として、関係する次数のそれぞれの照明強度による重み付けは、代替的又は追加的に行うことができる。このようにして、ＯＴＦ（それぞれの次数空間周波数スペクトルのように操作される）の効果による寄与の重み付けを考慮に入れることができ、それによってより高い画像解像度が可能となる。

本発明の意味における操作（Manipulation）は、操作される（manipulated）数学的実体を変化させることによって、典型的にはあらゆる種類のエラー又はアーチファクト、例えば光学収差や焦点のずれた光を補償、補正、又は抑制する。この場合の操作は、積分変換及び離散変換とは、特に関係する次数空間周波数スペクトルのための光学伝達関数が変化する点で、特に大きく変化する点で異なる。積分変換又は離散変換は本発明の意味では操作されず、これは、それが単に処理された数学的エンティティを変化させずに他の表現に変換するにすぎないからである。

特に有利なのは、逆重畳（deconvolution）が反復的に、特に非線形に、より特にリチャードソン－ルーシ方式若しくは最尤推定によって行われる実施形態である。これらの方法を使用すれば、結果画像の解像度における特に高い改善を実現でき、それは、これらが特に逆重畳において使用されるＰＳＦの品質に関して影響を受けやすいからである。逆重畳の前に次数のように対応して処理されない（not treated correspondingly）ＰＳＦが従来の方法で使用されると、反復アルゴリズムは収束しない。非反復的逆重畳もまた可能である。このようにして、従来の方法より高いコントラストを実現できる。

逆重畳は好ましくは５回よりはるかに多く反復され、特に４０回を超えて反復される。その結果、特に高い解像度が実現できるかもしれない。
次数空間周波数スペクトルが確認される前に、原画像の操作、特に空間周波数依存操作、より特に空間周波数依存周波数再重み付け、より特に、特に操作の行われない光学伝達関数が提供されてフィルタ処理及び／又は逆重畳が行われ、次数空間周波数スペクトルの確認が操作された原画像に基づいて行われると有利であるかもしれない。例えば、ペレスらが説明する前処理を行うことができる。

評価の特に高いレベルの正確さは、構造化照明の少なくとも１つの実際のパラメータ、特に繰返し周波数及び／又は向き及び／又は位置を、少なくとも１つの原画像に基づいて、又はそれ以前に操作した原画像に基づいて確認することによって実現できる。これによって、例えば顕微鏡のＯＴＦ全体を高い正確さのレベルで行うことが可能となる。

好ましくは、次数空間周波数スペクトルの、及び／又はＯＴＦの操作は、確認された実際のパラメータに基づくそれぞれのシフト及び／又はそれぞれの重み付け、及び／又は加重総和（weighted summation）を含むか、又はそれである。

ＯＴＦは、特に少なくとも１つの確認された実際のパラメータを用いた構造化照明のシミュレーションの下でシミュレートされた個々の画像を確認することによる、少なくとも１つの確認された実際のパラメータと、そこからＯＴＦが確認されるそのシミュレートされた個々の画像のＳＩＭ評価に基づいて行うことができる。それゆえ、特に正確なＰＳＦ／ＯＴＦを得ることができ、それによって今度は、特に高い解像度での（又は、非線若しくは線形反復的逆重畳の場合は高コントラストでの）結果画像の再構成が可能となる。

好都合に、各次数空間周波数スペクトルについて、その次数空間周波数スペクトルに対応してシフトされたＯＴＦのコピーが提供され、その後の方法ステップの全てにおいて、これらのコピーの各々１つがＯＴＦとして使用されるようにすることが可能である。

好ましくは、ＳＩＭ評価の一環として、原画像又はそれ以前に操作された原画像に含まれる異なる次数空間周波数スペクトルが次数空間周波数スペクトルの確認中に復調されて、分離され、中間結果画像の再構成の前又はその最中に空間周波数領域内でシフトされ、分離及びシフトされた次数空間周波数スペクトルが中間結果画像の再構成中に結合される。

考え得る一実施形態において、重み付けされた複数の光学伝達関数が組み合わされて、全体伝達関数（全体ＯＴＦ）が形成され、逆重畳が全体伝達関数に基づいて行われ、特に関係する次数空間周波数スペクトルに関する光学伝達関数の操作がその結合の前又はその最中に行われる。この手順によって、より単純な計算ステップが可能となる。

全体ＯＴＦは好ましくは、式

を使って確認され、式中、和（添え字ｊ）は全ての次数（次数空間周波数スペクトル）にわたる。
複数の原画像は好都合に、顕微鏡を用いて、構造化された照明光（２９）により異なる位相で試料を照明するそれぞれの場合に、位相ごとに試料により発せられ及び／又は散乱された試料光を検出器によってそれぞれの原画像に逐次的に記録することによって記録され、原画像から、原画像と比較して改善された解像度を有する中間結果画像を再構成することが可能となる。全てのステップの中で、この場合の再構成の結果は空間領域内の画像（「中間結果画像」と呼ぶ）であることが絶対的に必要というわけではなく、代替的又は追加的に、空間周波数スペクトルを再構成することもできる（「中間結果画像空間周波数スペクトル」という）。

好ましくは、２次元的空間分解検出器を使って原画像が記録され、特に検出器の正面に試料を光学的に切断する（optically sections）絞りがない。このようにして、走査型画像記録と比較してより短い露光時間が可能となるため、試料へのストレスを減らすことができる。したがって、走査のための（点状又はライン状（point-shaped or line-shaped））照明光の干渉による、及び／又は変調による照明光構造を生成することが可能である。

本発明はまた、顕微鏡も含み、これは前述の方法を実行するように構成された制御ユニットを有し、また、光源と、試料の原画像を記録するための２次元空間分解検出器と、試料中へと異なる位相で周期的に構造化される照明光を生成するための手段と、を有し、特に検出器の正面に、試料を光学的に切断する絞りが配置されない。制御ユニットは入力インタフェースを有することができ、それを介して原画像とＯＴＦを提供できる。制御ユニットは出力インタフェースを有することができ、それを介して結果画像を出力できる。

本発明はまた、前述の方法を実行するように構成されたコンピュータプログラムも含む。
本発明の意味内で、全てのステップにおいて、画像及び空間周波数スペクトルは同じ数学的実体の異なる表現にすぎず、常に相互に交換でき（空間周波数領域への変換又は空間領域への逆変換による）、それも本発明の範囲から逸脱しない。同じことがＰＳＦとＯＴＦについても当てはまる。

蛍光試料の原画像は典型的に、その蛍光物質の励起により記録される。本発明はまた、少なくとも１つの蛍光色素で標識された試料を提供することも含むことができる。
本発明は、例示的な実施形態に基づいて、以下により詳しく説明される。

マルチモーダル顕微鏡を示す。 複数の位相における構造化照明の既知の原理を示す。 瞳内に３つの干渉次数を有する照明パターンの生成を示す。 瞳内の３つの干渉次数を有する照明パターンの生成を示す。 既知の１段階ＳＩＭ評価を示す。 本発明により改良された２段階３Ｄ－ＳＩＭ評価と本発明により改良された２段階２Ｄ－ＳＩＭ評価との比較を示す。 本発明により改良された２段階ＳＩＭ評価と既知の２段階ＳＩＭ評価との比較を示す。 試料の、異なる方法で確認された画像の比較を示す。

全ての図面において、対応する部品には同じ参照符号が付されている。
図１は、異なる動作モードを有する顕微鏡１を示す。前記顕微鏡は、従来の顕微鏡検査法、すなわちその解像度が回折により限定される顕微鏡検査法と、高解像度顕微鏡検査法、すなわちその解像度が回折限界を超える顕微鏡検査法のどちらも実行できる。これは、倒立顕微鏡である。代替的に、これは正立顕微鏡の形態で具体化されてもよい。

顕微鏡１は試料２を撮像する。この目的のために、これは対物レンズ３を含み、後述のような全ての顕微鏡検査法の放射がそこを通過する。
対物レンズ３は、ビームスプリッタ４を介して、チューブレンズ（tube lens）５と共に試料をＣＣＤ検出器６へと結像させ、これはこの例において、２次元的空間分解領域検出器である。ここまで、顕微鏡１は従来の光学顕微鏡モジュール７を有し、試料２から対物レンズ３及びチューブレンズ５を通ってＣＣＤ検出器６へと至るビーム経路は従来の広視野検出ビーム経路（widefield detection beam path）８に対応する。図１で両矢印により示されているように、ビームスプリッタ４は交替可能であり、異なるダイクロイック特性を有するビームスプリッタ又は米国特許出願第２００８／００８８９２０号明細書による無色性ビームスプリッタの間で切替可能である。

さらに、対物レンズ３のビーム経路にはレーザ走査モジュール９が接続され、そのＬＳＭ照明及び検出ビーム経路は対物レンズ３のビーム経路に切替ミラー１１を介して連結され、これも同様にビームスプリッタの機能を有する。切替ミラー１１からビームスプリッタ４を通って対物レンズ３に至るビーム経路はそれゆえ、照明ビーム経路と検出ビーム経路が結合されるビーム経路である。これは、レーザ走査モジュール９と広視野検出ビーム経路８の両方に当てはまり、それは、後述のように、広視野検出ビーム経路８、すなわちＣＣＤ検出器６と共に顕微鏡検査法を実現する照明放射もまた、切替ミラー１１で結合されるからである。

切替ミラー１１及びビームスプリッタ４が組み合わされてビームスプリッタモジュール１２を形成し、その結果、用途に応じて切替ミラー１１とビームスプリッタ４を相互に交替させることができる。これも両矢印で示されている。さらに、ビームスプリッタモジュール１２には吸収フィルタ（emission filter）１３も提供され、これは広視野検出ビーム経路８内に位置付けられて、広視野検出ビーム経路８を通って伝播できるスペクトル成分を適切にフィルタ処理する。ビームスプリッタモジュール１２内の吸収フィルタ１３ももちろん交替可能である。

レーザ走査モジュール９は、光ファイバ１４を介してレーザモジュール１５から動作に必要なレーザ放射を受け取る。
図１に示される構成では、各種の顕微鏡検査法のための照明放射が通過する集合的照明ビーム経路１６は、ビームスプリッタモジュール１２において、より具体的には切替ミラー１１において連結される。個々の照明モジュールの異なる照明ビーム経路はこの集合的照明ビーム経路１６に結合される。例えば、広視野照明モジュール１７は、広視野照明放射を集合的照明ビーム経路１６に切替ミラー１８を介して結合し、それによって試料２はチューブレンズ２７及び対物レンズ３を介して広視野に照明される。広視野照明モジュール１７は、例えばＨＢＯランプを有することができる。別の照明モジュールとして、ＴＩＲＦ照明モジュール１９も提供され、これは切替ミラー１８を適切に位置付けることによってＴＩＲＦ照明を実現する。ＴＩＲＦ照明モジュール１９はこのためにレーザモジュール１５からの放射を光ファイバ２０を介して受け取る。ＴＩＲＦ照明モジュール１９は長さ方向に変位可能なミラー２１を有する。長さ方向の変位により、ＴＩＲＦ照明モジュール１９によって発せられた照明ビームは、発らせられた照明ビームの主な伝播方向に対して垂直に変位させられ、その結果、ＴＩＲＦ照明は対物レンズ３に、対物レンズの光軸に関して調整可能な角度で入射する。このようにして、カバースリップ（coverslip）での全内部反射に必要な角度を容易に確保できる。その他の手段ももちろん、この角度調整を行うのに適している。

さらに、集合的照明ビーム経路には、マニピュレータモジュール２２の照明ビーム経路が連結され、これも同様にレーザモジュール１５からの放射を光ファイバ（ここではさらに番号を付さない）を介して受け取り、試料２上で点状又はライン状ビーム分布を走査式に案内する。マニピュレータモジュール２２はそれゆえ、レーザ走査型顕微鏡の照明モジュールに実質的に対応し、その結果、マニピュレータモジュール２２は、レーザ走査モジュール９の検出器又はＣＣＤ検出器６の広視野検出と複合的に動作することもできる。

格子２３がさらに集合的照明ビーム経路１６に提供され、これは、顕微鏡１から試料２に伝達可能なカットオフ周波数より低い格子定数を有する。格子２３は、例えば試料内に結像される照明ビーム経路１６の平面（試料の中間像）内に配置することができる。格子２３は、集合的照明ビーム経路１６の光軸を横切って、好ましくはこの光軸を横切る２次元に変位可能である。このために、対応する変位駆動部２４が提供される。

回転子駆動部２６により回転される像視野回転子（image field rotator）２５がさらに集合的照明ビーム経路１６内の照明方向に格子の下流に配置される。像視野回転子は例えば、アッベ・ケーニッヒ（Abbe-Koenig）型プリズムとすることができる。格子２３が二次元構造を有する場合、像視野回転子２５はなくてよく、それは、結果として得られる照明構造に回転が不要であるからである。その代わりに、これは例えば二次元に変位させることができる。

顕微鏡１は、制御ユニット２８、例えばフォン・ノイマン（Von-Neumann）型アーキテクチャのコンピュータを含み、これは特に計算及び制御ユニットとしてのプロセッサ、ワーキングメモリとしてのランダムアクセスメモリ、及び大容量記憶手段としての磁気ハードディスクを有する。

顕微鏡１のモジュール及び駆動部並びに検出器もすべて制御ユニット２８に配線（ここではさらに番号を付さない）を介して接続される。接続は、例えばデータ及び制御バスを介して実現できる。制御ユニット２８は、異なる動作モードで顕微鏡１を制御する。制御装置２８はそれゆえ、顕微鏡１において、従来の顕微鏡、すなわち広視野顕微鏡検査法（widefield microscopy : ＷＦ）、特に構造化照明（structured illumination : ＳＩＭ）、レーザ走査型顕微鏡（laser scanning microscopy : ＬＳＭ）、及び全内反射（total internal reflection : ＴＩＲＦ）を利用する蛍光顕微鏡の性能を実現する。

図１の顕微鏡は、レーザスキャナ照明に適した実質的に２つのモジュール、具体的にはレーザ走査モジュール９とマニピュレータモジュール２２を有する。その他の組合せももちろん可能である。前記モジュールは、チューブレンズを介して試料２上の対物レンズ３に結合される。マニピュレータモジュール２２は、単にレーザ走査モジュールの励起部を含み、検出は行わない。その結果、試料は点状に照明でき、照明スポットは試料２上で走査することができる。

好ましくは、切替ユニット、例えば切替レンズ又は円柱レンズは、点状及びライン状照明間の切替を行うのに使用され、これもマニピュレータモジュール２２の中に位置付けられる。特に格子２３がライン状照明のライン（line）において旋回し、ライン状照明のラインに対して垂直に位置付けられる場合に、ライン状照明は有利である。代替的に、ライン状照明は、試料２内の構造化照明の動的（逐次的）生成のために使用できる。

可変的に調整可能なストライプ変調器又はＤＭＤ若しくはＳＬＭも格子２３の代わりに使用でき、試料２の構造化照明を生成する。その場合、変位駆動部２４及び格子２３を旋回により出し入れする機能はもちろん不要となる。

像視野回転子２５により、格子２３によって（又はそれに代わる素子によって）生成される構造化照明を集合的照明ビーム経路１６の光軸の周囲で回転させることができ、それによって構造化照明は試料２内で異なる角度に延びる。

個々の動作のタイプ同士を切り替えるために、切替ミラー１８及び１１とビームスプリッタ４が適切に調整される。具体化において、このために折り返しミラー又は旋回ミラー（pivot mirror）を使用することができ、それによって動作のタイプの切替を逐次的に行うことができる。代替的に、様々なモジュールの同時動作を可能にするダイクロイックミラーもまた可能である。

ビームスプリッタ４は好ましくは、ダイクロイックビームスプリッタ（dichroic beam splitter）の形態で具現化され、分光特性は、ＣＣＤ検出器６を利用して検出されることになる標識分子から発せられる蛍光の分光成分が広視野検出ビーム経路８の中へと通過し、残りの分光成分は可能であれば透過させられるように調整可能である。異なる発光特性を有する標識分子の利用に関するフレキシビリティを増大させるために、複数の異なるビームスプリッタ４及び吸収フィルタ１３がビームスプリッタモジュール１２内に、これらが交替可能となるような方法で、例えばフィルタホイール上に配置される。

上述の顕微鏡は、超解像度の結果画像を生成する役割を果たすことができる。このために、制御装置２８は、例えば適当なプログラミングによって実現される適切な構成を有する。

図２は、ＳＩＭ方式により個々の試料平面内に超解像度画像（super-resolved image）を生成する概念を概略的に図解している。図１の顕微鏡１で検査される試料は広視野で反復的に画像化され、その際、異なる照明状態が設定される。

図２は、１つの試料平面からの一組の原画像（raw image）４０を示しており、これらは全て同じ試料領域を表すが、光構造２９の点で異なり、これは原画像４０の記録中に照明ビーム経路１６によって構造化照明により試料２の中へと伝達される。図からわかるように、例えば格子２３により生成された横方向の周期的光構造２９は異なる原画像４０の中で異なる向きと位置を有するが、全ての原画像４０における繰返し周波数は全て同じである（格子２３の格子周波数（grating frequency）に依存する）。全体として、この例は９つの原画像４０を含み、これらは構造２９の最大３種類の向きと構造２９の３種類の変位位置から構成される。各種の向き及び変位位置は位相として分類される。異なる、及びそれより多い数の異なる位相もまた、ＳＩＭの原理に関して先に引用した文献から知られているように、もちろん可能である。

しかしながら、構造２９は単に例と理解すべきである。特に、それがライン構造である必要はない。概略的に描かれたラインをそれらのラインに沿ってさらに構造化することも可能である。当初引用したＳＩＭに関する文献で使用されるライン状構造化を用いるのではなく、走査された共焦点又は共焦点検出による照明を使用することも同等に可能であり、これは、Ｃ・ミュラ（C. Mueller）とＪ．エンデルライン（J. Enderlein）による文献、「画像走査型顕微鏡検査法（Image scanning microscopy）」、フィジカル・レビュー・レターズ（Physical Review Letters）、１０４、１９８１０１（２０１０年）から知られている。この原理は、ＩＳＭと呼ばれる。その場合、もちろん構造化照明の向きは９通り以外であり、試料２の走査から得られる適当な複数の原画像がある。すると、各原画像４０は特定の走査位置、すなわち画像の走査中の具体的な走査状態に対応する。

制御ユニット２８は、記録された複数の原画像４０から超解像度結果画像５０を計算する。制御ユニットはここで、例えば、切替可能に構成され、それによってこれは既知の従来のＳＩＭ評価又は本発明により改良された方法の両方を実行する。

図３は、格子２３による構造化照明の実現の例を概略的に図解する。例えばマニピュレータモジュール２２からのコヒーレント光を格子２３で回折させることによって、異なる回折次数に対応するビームが生成される。ゼロ次回折及び＋／－１次回折を除き、残りの回折次数がブロックされると、試料２内で相互に干渉する３つのビームが対物レンズの瞳の中に存在し、これは後焦点面（back focal plane）とも呼ばれる。対物レンズの瞳の３つのビームによって、干渉によりストライプ状のＳＩＭ照明パターン２９が試料内に形成されることになり、このパターンはまた、タルボ効果（Talbot effect）によって、試料２を通過する対物レンズ３の光軸に関して軸方向にも、すなわち長さ方向にも構造化される。

干渉ビームはまた、別の方法によっても、例えば瞳の中（又はその付近）に終端を置く光ファイバによって、又は適当に配置されたチルトミラーマトリクス（tilt-mirror matrices）若しくは米国特許出願公開第２０２０／００６４６０９Ａ１号明細書のような光波案内チップ（lightwave-guiding chip）によっても生成できる。また、数も３つに限定されない。図３に示される照明パターン２９の生成は例であるが、これは典型的なアプローチとなっており、照明パターン２９内に存在する各種の離散周波数バンドは次数と呼ばれる。

３つの干渉ビームから得られる照明パターンは、次式により説明できる。

式中、ａ_０は中心ビーム（格子２３のゼロ次回折）の強度であり、ａは両側の隣接ビーム（格子２３の１及び－１次回折）の強度である。パラメータ

は横方向ビームの波数ベクトルのｘ－、ｙ－、及びｚ－成分であり、

は中心ビームの波数ベクトルのｚ成分であり、

は中心平面、典型的に照明の焦点面付近に中心を置く余弦（cosine）により形成される照明パターン２９の深度依存性を説明する。このような深度構造はまた、タルボパターンとも呼ばれる。φ_０はｚ座標に関する前記余弦プロファイルの位相角である。φはｘ－ｙ平面内の照明パターン１５の位相角であり、すなわち、それは個々のＳＩＭ照明パターンを特徴付けるパラメータである。これらは相互にφの値においてのみ異なる。例えば、５つの個別のＳＩＭ照明パターンの位相の場合、φには５種類の値がある。位相角は好ましくは、特定の限度内の１８０°の領域にわたり均等に分散される。フーリエ変換により容易に示されるように、照明パターン２９は、次数に対応する離散空間周波数バンドを有する信号成分により特徴付けられる。

概して、照明パターンＩ（ｘ，ｙ，ｚ）には、試料２との相互作用を考慮してその光学特性Ｓ（ｘ，ｙ，ｚ）を乗じ、検出ＰＳＦ Ｈ（ｘ，ｙ，ｚ）と畳み込み、測定光分布Ｉ_ｅｍ（ｘ，ｙ，ｚ，ｚ_０，φ）を得る。

式中、ｚ_０は検討対象の試料平面の焦点面からの距離を示し、ｚは焦点面の位置を示す。ｚ＝０に設定することによって、照明の焦点面にある試料の平面が検討され、その結果、次式が得られる。

試料２の光学特性Ｓ（ｘ，ｙ，ｚ）は、例えば試料２中の発光蛍光色素の濃度の分布又は試料２の反射率により付与される。
評価の中間ステップは好ましくは空間周波数領域で行われる。ｘ、ｙ及びｚに関するフーリエ変換により次式が得られる。

方程式系は、具体的に使用される照明パターンＩ（ｘ，ｙ，ｚ）に基づいて、より具体的にはそのフーリ変換Ｉ^ｆ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）、顕微鏡の検出ＰＳＦ Ｈ（ｘ，ｙ，ｚ）に基づいて、より具体的にはフーリエ変換Ｈ^ｆ（ｘ，ｙ，ｚ）（すなわち、ＯＴＦ）及び原画像４０内に記録された強度Ｉ_ｅｍ（ｘ，ｙ，ｚ）に基づいて、より具体的には記録された原画像４０のフーリエ変換

に基づいて確立できる。
試料２中で干渉する３つのビームに関して、式（１）を式（４）に代入する第一のステップの結果は

となる。
ここで、ｊ＝０，１，２とするＡ_ｊは、式（１）の前因子から生じる照明パターンの次数の強度を示す。それゆえ、以下が適用される。

Ａ_０＝ａ_０ ^２／２＋ａ^２；Ａ±_１＝ａ^２及びＡ±_２＝ａ_０ａ
さらに、ｋ＝（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）は次数を指す波数ベクトルである。
式（５）は次数項で表現できる。

式中、次数Ｄ_ｎ（ｋ）は以下のように定義され：

次数の光学伝達関数は
ｊ＝－２，０，２の場合、ＯＴＦ_ｊ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）＝Ｈ^ｆ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）
ｊ＝－１，１の場合、

となる。
５つの次数を個別に得るために、照明パターン２９の異なる位相角φ＝φ_ｍ、ｍ＝１，．．．，ｎでのｎ＝５回の測定が必要である。照明パターン２９のｎ種類の位相位置により、ｎ個の式（６）がそこから得られ、すなわち位相φ_ｍの各々について１つである。この方程式系を解くと次数が分離され、その結果、ｎ個の次数空間周波数スペクトル（order spatial frequency spectra）４１が得られ、その各々が次数Ｄ_ｊ（ｋ）の１つを含む。

これらはそれぞれのケースで中間結果画像の空間周波数スペクトル内のそれらのもともとの位置に

だけシフトされ、中間結果画像の空間周波数スペクトルに結合される。

式中、φ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）はアポダイゼーション関数であり、ω_ｊ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）はｊ番目の次数の重み（ＳＲは超解像度（super resolution）の略）である。アポダイゼーション関数と重みによって次数空間周波数スペクトル４１又はＤ_ｊ（ｋ）の操作が可能となり、これは結果の改善に役立つ。

アポダイゼーション関数と重みに代わる別の考え得るアプローチがある。φ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）は例えば、超解像度ＯＴＦ

のサポート範囲にわたるバイナリマスク（binary mask）のユークリッド距離変換（Euclidean distance transform）として定義できる。
従来の１段階ＳＩＭ方式（中間結果画像がすでに結果画像である）では、汎用ウィーナーフィルタの使用（グスタフソン（Gustafsson）らの場合のように）により以下の重みが得られる。

式中、ウィーナーパラメータｗと次数強度Ａ_ｊが用いられる。それに加えて、例えばノッチフィルタｇを各次数の中心で使用でき、これはボジノビッチ（Bozinovic）らにより「構造化照明による蛍光顕微内視鏡（Fluorescence endomicroscopy with structured illumination）」、オプティクス・エクスプレス（Optics Express）、２００８年第１６巻、８０１６ページにおいて説明されている。

式中、ノッチフィルタｇ（ｘ，ｙ）は例えば、ガウス形状

を有することができる。
可変数ａ及びσは、抑制の強度と幅を示す。

及び逆フーリエ変換（「ｉＦＴ」という）を計算することにより、結果画像Ｓ_ＳＲ（ｘ，ｙ，ｚ）を直接確認できる。
２段階方式では、例えば以下の重みを使用できる。

式中、Ｂ_ｊは次数依存前因子（order-dependent pre-factors）である。しかしながら、その他の重みも同様に可能である。
すると、中間結果画像空間周波数スペクトル（intermediate result image spatial frequency spectrum）４４は、シフトされた次数４１（Ｄ_ｊ）と重みω_ｊにより操作された（例えば、中心でノッチフィルタ処理された（centrally notch-filtered））ものとの組合せとなる。

前述のように、φ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）はアポダイゼーション関数であり、ｇは例えばガウスノッチフィルタである。この例示的ノッチフィルタｇをより高次（非ゼロ）に適用することによって、アーチファクトを軽減できる。それに対して、ゼロ次では、ノッチフィルタがハイパスとして機能し、焦点のずれた光をブロックする役割を果たす。

それに対して、式（７）を式（１４）に代入すると、中間結果空間周波数スペクトル４４が得られ：

他の表現では

となり、個々の次数のＯＴＦ（重みω_ｊによる次数Ｄ_ｊのように操作、例えば中心でノッチフィルタ処理される）からなる以下の全体ＯＴＦが得られる。

式（１６）は空間周波数領域で表現される畳み込みであり、これは式（１４）により計算された、シフトされ、操作された次数の組合せ

に基づいて、また式（１７）により計算された全体ＯＴＦ ＯＴＦ_ＳＲに基づいて書き直すことができ、例えばリチャードソン－ルーシ等の非線形反復的アルゴリズムを使って、好ましくは制約（例えば、非負制約及び平滑さ）及びおそらくは正則化を用いて既知の逆重畳アルゴリズムにより様々な方法で解くことができる。その他の逆重畳アルゴリズムも可能である。特に、非反復的方式を使用できる。

例えば、前因子Ｂ_ｉに関して、例えば２通りの単純な可能性がある：
１．Ｂ_ｉ≡１であり、次数の強さＡ_ｉが全体ＯＴＦを決定する、又は
２．Ｂ_ｉ＝１／Ａ_ｉであり、次数の強さＡ_ｉはその代わりに次数空間周波数スペクトル４１（Ｄ_ｉ）の組合せを決定する。

他の前因子Ｂ_ｉも可能である。
全体ＯＴＦを数値による中間結果として計算する必要はない。むしろ、例えば次数の個々の和項を式（１６）の再重み付けにおいて直接使用できる。

試料情報を完全に取得するために、この例における検討対象の試料平面内で１次元である照明構造２９を使用し、複数の（典型的には３又は５）の向きで評価しなければならない。上の式を複数の回転位相角に応じて拡張すべきである。

図４は、構造化照明の具体化の他の例を概略的に図解している。例えば、対物レンズ３の瞳の中に５つのビームがあり、これらは試料２内で相互に干渉し合って３次元の周期的光構造２９を形成する。例えば、これら５つのビームは瞳内に配置されたチップ（chip）（図示せず）を使って生成される。結果として得られる照明パターン２９は、次式により説明できる。

この照明パターンは、検討対象の試料平面内において２次元の周期である（グリッドパターン）。その結果、ｎ＝１３通りの次数Ｄ_ｊ、すなわち次数空間周波数スペクトル４１が得られ、これを空間周波数領域内で抽出し、分離しなければならない。したがって、検討対象の各試料平面の少なくとも１３個の原画像４０が必要となる。残りの部分については、評価は１３の次数に関する対応する式による３つの干渉ビームに関して上述した手順に対応する。

中間結果画像空間周波数スペクトルはすると、それらのもともとの位置にシフトされた、１３の操作された次数空間周波数スペクトル４１（すなわち、Ｄ_ｊ）で構成される。

その際、全体ＯＴＦは

且つ

であり、
ｊ＝０，１，３，４，６の場合は、ＯＴＦ_ｊ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）＝Ｈ^ｆ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）、
ｊ＝２及びｊ＝５の場合は、

となる。
前因子Ｂ_ｊについては、例えば図３に関して示された可能性が存在するが、それ以外もまた可能である。

全てのケースにおいて（図３においてもそうであるように）、解くべき方程式系は（及びそれゆえ、別の評価ステップも）、例えば式（９）に異なる試料平面に関する式を連結する（links）ディラックくし形関数（Dirac comb）を導入することによって、複数の試料平面（及びそれゆえ、３つの空間次元）に拡張することができる。すると、次数空間周波数スペクトル４０及びＯＴＦ３０はどちらも三次元となる。

図５は、従来の１段階ＳＩＭ評価方法の手順を概略的に図解している。
開始点として、ステップＳ０で顕微鏡１の１３個の原画像４０とＯＴＦ３０が提供される。原画像は例えば、顕微鏡１において１３通りの照明位相角で記録された。

ステップＳ１で、前述のように、線形方程式系が確立され、原画像４０に基づいて、及びＯＴＦ３０に基づいて解かれる。その結果は１３個の次数空間周波数スペクトル４１となる。ゼロ次スペクトルは目立つように太線の境界で示されている。それに加えて、ステップＳ２で、照明構造２０のそれぞれの実際の位相角（位置）が原画像から確認され、照明構造の実際のグリッド周波数（一般に、その繰返し周波数）が次数空間周波数スペクトル４１から確認される。これらはその後の評価で使用される。

ステップＳ３で、次数空間周波数スペクトル４１が操作され、例えばフィルタ処理済みの次数空間周波数スペクトル４２が得られる。例えば、ノッチフィルタが各次数４１の中心に適用される（各スペクトル４１の中央の円で示される）。これは、ゼロ次４１では焦点のずれた光を抑制するために使用され、残りの次数４１ではグリッド周波数を抑制するために使用される。複数のフィルタを連続的に、又は組み合わせて適用することが可能である。

ステップＳ４で、フィルタ処理された（又はそれ以外の方法で操作された）次数空間周波数スペクトル４２は、空間周波数領域内のそれぞれのもともとの位置にシフトされる。ステップＳ５で、これらのシフトされたスペクトルに、それらの照明強度に基づいて、及びＯＴＦ３０に基づいて重み付けされ、汎用ウィーナーフィルタ及びアポダイゼーション関数によってまとめられ、超解像度結果画像空間周波数スペクトル４４が形成される。ＯＴＦ３０に基づく重み付けは、様々なグレイレベルと線内の中断の程度の違いにより示されている。

結果画像空間周波数スペクトル４４は最終的に、空間周波数領域から空間領域へと逆フーリエ変換を使って変換され、超解像度結果画像５０が得られる。
「Ａ」と表示された矢印は、図５において、原画像４０からのデータが１つの評価ステップから次のステップへと伝送され、さらに処理されることを示すために使用されている。「Ｂ」と表示された矢印は、ＯＴＦ３０がステップＳ５で汎用ウィーナーフィルタでのみ使用され、ステップＳ３の次数空間周波数スペクトル４１の操作中は使用されないことを表している。

図６は、本発明により改良された２段階ＳＩＭ評価方式の手順を従来の２段階ＳＩＭ方式と比較して概略的に図解している。
開始点として、ステップＳ０で１３個の原画像４０が提供され、例えばフーリエ変換によって空間周波数領域に変換される。それに加えて、照明構造２９のそれぞれの実際の位相角（位置及び向き）が原画像から確認され、照明構造の実際の繰返し周波数（グリッド周波数）が原画像の局所周波数スペクトルから確認される。実際の繰返し周波数は、照明構造の実際のパラメータとしてその後の方法全体で使用される。

原画像は、例えば顕微鏡１を使って１３通りの照明位相角で記録されており、それを利用できるようにするために例えば大容量記憶手段からロードされる。ステップＳ１で、顕微鏡１のＰＳＦがそれを例えば大量記憶手段からロードすることによって確認され、ＯＴＦ３０がそこからフーリエ変換によって計算されて、コピーされ、１３のコピーが得られる。事前に記憶されたＰＳＦは、例えば構造化照明で較正用試料を測定することによって確認された。

ステップＳ２で、前述のように、線形方程式系が確立され、原画像４０に基づいて解かれる。その結果は１３の次数空間周波数スペクトル４１となる。ゼロ次スペクトルは目立つように太線の境界で示されている。ＯＴＦコピー３０の正確に１つが次数空間周波数スペクトル４１の各々に割り当てられる。

ステップＳ３で、次数空間周波数スペクトル４１（Ｄ_ｊ）が操作され、例えばフィルタ処理済みの次数空間周波数スペクトル４２（ω_ｉＤ_ｊ）が得られる。例えば、ノッチフィルタ（ｇ）が各次数４１の中心に適用される（各スペクトル４１の中央の円で示される）。特に関係する次数に応じて、複数の異なるフィルタを連続的に、又は組み合わせて適用することが可能である。操作の種類に応じて（例えば、フィルタに応じて）、フィルタごとに次数空間周波数スペクトル４１のうちの１つのみ、又はそのうちの複数若しくはさらには全部が操作される。本発明により改良された方法において、拡張されたステップＳ３で、ＯＴＦコピー３０はそれぞれ関連する次数空間周波数スペクトル４１として例えば同じパラメータ、特にフィルタパラメータを使って相応に操作される。

従来のステップＳ４で、フィルタ処理された（又はそれ以外の方法で操作された）次数空間周波数スペクトル４２は、空間周波数領域内のそれぞれのもともとの位置にシフトされ、従来のステップＳ５で、これらはそれらの照明強度に基づいて（ＯＴＦ３０には基づかず、また、ウィーナーフィルタを使用しない）重み付けされる。従来のステップＳ５と改良版Ｓ５’のどちらにおいても、全体ＯＴＦは、各次数空間周波数スペクトル４２についてのＯＴＦコピー３０がそれぞれに関連付けられた次数空間周波数スペクトル４２のようにシフトされ、重み付けされて加算され、全体ＯＴＦ（図示せず）が形成されるという点で確認される。本発明により改良された方法のステップＳ５’は従来のステップ５とは、従来のステップＳ５で使用される操作されていない開始ＯＴＦではなく、ステップＳ３で操作されたＯＴＦコピー３０が使用される点が異なる。

従来のステップＳ６で、中間結果画像空間周波数スペクトル４４が（変更されていない）ＯＴＦ３０に基づいて再重み付けされ、例えばリチャードソン－ルーシによる反復方法により逆重畳され、その結果、結果画像空間周波数スペクトル（図示せず）が得られる。結果画像５０はそこから、逆フーリエ変換を使って確認できる。

本発明により改良された方法のステップＳ６’は従来のステップＳ６とは、再重み付け（及びそれゆえ逆重畳）が、次数空間周波数スペクトル４２のように操作されたＯＴＦコピー３０で構成される全体ＯＴＦに基づいて行われる点が異なる。代替的に、操作されたＯＴＦコピー３０は、再重み付け（逆重畳）の中で事前に結合されずに直接使用できる。

ＯＴＦのコピーが（従来の方法とは異なり、）次数空間周波数スペクトル４１に対応して操作されることが、「Ｂ」と表示される矢印により示されている。
図７は、空間３次元のために本発明により改良された方法を前述の２Ｄ方法と比較して図解している。３Ｄの場合のために提供されるＯＴＦ３０は最初から３次元である。３次元の次数空間周波数スペクトル４１を確認するための方程式系も、３次元で確立され、解かれる。次数空間周波数スペクトル４１及びＯＴＦコピー３０の操作（フィルタ処理）もまた３次元で行われ、中間結果空間周波数スペクトルを形成するための重み付けと結合並びに、例えば全体ＯＴＦ（図示せず）を形成することによる操作されたＯＴＦ３０に基づく再重み付け（最終的には逆重畳）も同様である。

図８は、続けて回折限界画像（Ａ）、従来の１段階ＳＩＭを使って確認された超解像度結果画像（Ｂ）、及び本発明にしたがって２段階ＳＩＭにより確認された超解像度画像（Ｃ）を示す。画像は全て試料２の同じ領域を示し、直接比較できるようになっている。下段に、従来の結果画像（Ｄ）と、本発明により確認された結果画像（Ｅ）の拡大部分が示されている。画像Ｄ及びＥの解像度が画像Ｂ及びＣよりはるかに良いことが明らかである。

画像化された試料２は、蛍光色素Ａｌｅｘａ４８８を用いた大きさ６０ｎｍのＧＡＴＴＡｑｕａｎｔ（https://www.gattaquant.com）のＤＮＡ折り紙を含んでいた。画像Ａ及びＳＩＭ原画像（図示せず）は６３×１．４プランアポクロマート油浸対物レンズ（plan apochromat oil objective）を使って記録された。照明パターンは、図４による５ビーム干渉として生成され、１３種類の位相で試料２に投射された。７つの平面の３Ｄスタックが記録され、各平面において１３の原画像４０が記録された。１つの平面のみが示されている。

折り紙の別々に識別可能な端に基づいて、本発明により改良されたＳＩＭ評価では、従来のＳＩＭと異なり、６０ｎｍの解像度が実現されることがわかる。

参照符号リスト
１ 顕微鏡
２ 試料
３ 対物レンズ
４ ビームスプリッタ
５ チューブレンズ
６ ＣＣＤ検出器
７ 光顕微鏡モジュール
８ 広視野検出ビーム経路
９ レーザ走査モジュール
１１ 切替ミラー
１２ ビームスプリッタモジュール
１３ 吸収フィルタ
１４ 光ファイバ
１５ レーザモジュール
１６ 集合的照明ビーム経路
１７ 広視野照明モジュール
１８ 切替ミラー
１９ ＴＩＲＦ照明モジュール
２０ 光ファイバ
２１ ミラー
２２ マニピュレータモジュール
２３ 格子
２４ 変位駆動部
２５ 像視野回転子
２６ 回転子駆動部
２７ チューブレンズ
２８ 制御装置
２９ 照明構造
３０ ＰＳＦ／ＯＴＦ
４０ 原画像
４１ 次数空間周波数スペクトル
４２ フィルタ処理された次数空間周波数
４３ 重み付けされ、フィルタ処理された次数空間周波数スペクトル
４４ 中間結果画像空間周波数スペクトル
５０ 結果画像
Ａ 試料測定データ（原画像）
Ｂ ＰＳＦ／ＯＴＦデータ

Claims (18)

1. 試料（２）の複数の顕微鏡画像（４０）の超解像度評価のための方法であって、
   前記試料（２）を周期的に構造化される照明光（２９）により異なる位相で照明することによって顕微鏡（１）を用いて逐次的に記録される前記試料（２）の複数のデジタル原画像（４０）を提供するステップと、
   前記顕微鏡（１）のイメージングを表す光学伝達関数（３０）を提供するステップと、
   前記原画像（４０）に基づいて複数の次数空間周波数スペクトル（４１）を確認するステップと、
   中間結果画像空間周波数スペクトル（４４）を再構成するステップと、
   確認された各次数空間周波数スペクトル（４１）について前記光学伝達関数（３０）に重み付けするステップと、
   確認された各次数空間周波数スペクトル（４１）についての重み付けされた光学伝達関数（３０）に基づいて、前記中間結果画像空間周波数スペクトル（４４）に再重み付けするステップと、を備え、
   前記複数の次数空間周波数スペクトル（４１）のうちの少なくとも１つを、関連する次数空間周波数スペクトル（４１）についての前記再構成及び前記光学伝達関数（３０）の対応する操作の前に又はその最中に、特に逆重畳の前に又はその最中に同じアルゴリズム又は同じ数学的演算で操作することを特徴とする方法。
2. 前記操作は、空間周波数依存演算、特に空間周波数依存重み付け、特に空間周波数依存フィルタ処理、より特に空間周波数依存ノッチフィルタ処理、より特にはそれぞれの座標原点を中心とする空間周波数依存ノッチフィルタ処理を含むか、又はそれである、請求項１に記載の方法。
3. 前記試料内の前記照明光（２９）が少なくとも１つの繰返し周波数を有し、前記空間周波数依存フィルタ処理が、前記少なくとも１つの繰返し周波数に依存するノッチフィルタ処理、特に少なくとも前記少なくとも１つの繰返し周波数の抑制のためのノッチフィルタ処理を含む、請求項１又は２に記載の方法。
4. 前記照明光（２９）は、前記画像記録の光軸に沿って周期的に構造化され、異なる原画像（４０）は前記試料の異なる平面から生成され、前記試料（２）の異なる平面からの原画像（４０）に基づく前記次数空間周波数スペクトル（４１）の前記確認は、３次元次数空間周波数スペクトル（４１）が確認されるように実行され、前記光学伝達関数（３０）は三次元で提供され、前記逆重畳は３次元で実行される、請求項１～３のいずれか１項に記載の方法。
5. 前記光学伝達関数（３０）に基づく前記次数空間周波数スペクトル（４１）の重み付けは前記再構成中には行われず、特に重み付けはそれぞれの照明強度に応じて行われる、請求項１～４のいずれか１項に記載の方法。
6. 前記操作は、積分変換から、及び離散変換から、特に前記関連する次数空間周波数スペクトル（４１）に関する前記光学伝達関数（３０）が変更される、特に大きく変更されるような方法で異なる、請求項１～５のいずれか１項に記載の方法。
7. 前記逆重畳は反復的であり、特に非線形であり、より特にリチャードソン－ルーシ方式又は最尤推定によるものであり、より特に５回を超える反復であり、より特に４０回を超える反復であるか、又は前記逆重畳は反復的ではない、請求項１～６のいずれか１項に記載の方法。
8. 前記原画像（４０）の操作は、前記次数空間周波数スペクトル（４１）が確認される前に行われ、特に空間周波数依存操作、より特に空間周波数依存周波数重み付け、より特にフィルタ処理及び又は逆重畳、特に提供される操作が行われない光学伝達関数（３０）によるフィルタ処理及び又は逆重畳であり、前記次数空間周波数スペクトル（４１）の前記確認は、前記操作された原画像（４０）に基づいて行われる、請求項１～７のいずれか１項に記載の方法。
9. 前記構造化照明（２９）の少なくとも１つの実際のパラメータ、特に繰返し周波数、向き及び位置のうちの少なくとも１つは、前記原画像（４０）の少なくとも１つに基づいて、又は請求項８に記載されているように操作された前記原画像に基づいて確認される、請求項１～８のいずれか１項に記載の方法。
10. 前記関連する次数空間周波数スペクトル（４１）のための前記次数空間周波数スペクトル（４１）の操作及び前記ＯＴＦ（３０）の操作は、前記少なくとも１つの確認された実際のパラメータに基づくそれぞれのシフト及びそれぞれの重み付け及び加重総和のうちの少なくとも１つを含むか、またはそれである、請求項９に記載の方法。
11. 前記ＯＴＦ（３０）は、特に前記少なくとも１つの確認された実際のパラメータを用いた構造化照明のシミュレーションの下でシミュレートされた個々の画像を確認することによる前記少なくとも１つの確認された実際のパラメータと、そこから前記ＯＴＦ（３０）が確認される前記シミュレートされた個々の画像のＳＩＭ評価に基づいて提供される、請求項９～１１のいずれか１項に記載の方法。
12. 各次数空間周波数スペクトル（４１）について、前記次数空間周波数スペクトル（４１）に対応してシフトされた前記ＯＴＦ（３０）のコピーが提供され、その後の方法ステップの全てにおいて、これらのコピーの各々１つが前記ＯＴＦ（３０）として使用される、請求項１～１１のいずれか１項に記載の方法。
13. 前記原画像（４０）又は請求項８に記載されているように操作された前記原画像の中に含まれる異なる次数空間周波数スペクトルは、前記次数空間周波数スペクトル（４１）の前記確認中に復調され、分離され、前記中間結果画像（４４）の前記再構成の前又はその最中に空間周波数領域内でシフトされ、前記分離され且つシフトされた次数空間周波数スペクトル（４１）は前記中間結果画像（４４）の前記再構成中に結合される、請求項１～１２のいずれか１項に記載の方法。
14. 前記重み付けされた複数の光学伝達関数（３０）は結合されて全体伝達関数を形成し、前記逆重畳は前記全体伝達関数に基づいて行われ、特に前記関連する次数空間周波数スペクトル（４１）に関する前記光学伝達関数（３０）の前記操作は、前記結合の前又はその最中に行われる、請求項１～１３のいずれか１項に記載の方法。
15. 試料（２）の超解像度イメージングの方法において、顕微鏡（１）を用いて、前記試料（２）を構造化照明光（２９）により異なる位相で照明するそれぞれの場合に、前記試料（２）により発せられた試料光及び前記試料（２）により散乱された試料光のうちの少なくとも一方が位相ごとに検出器（６）によってそれぞれの原画像（４０）に逐次的に記録されて、前記原画像（４０）から前記原画像（４０）と比較して増大した解像度を有する中間結果画像（４４）を再構成することができる、方法。
16. ２次元空間分解検出器（６）が前記原画像（４０）を記録するために使用され、特に前記試料を光学的に切断する絞りが前記検出器（６）の正面にない、請求項１５に記載の方法。
17. 請求項１～１５のいずれか１項に記載の方法を実行するように構成された制御ユニット（２８）を有し、また光源（１５）、前記試料（２）の原画像（４０）を記録するための２次元空間分解検出器（６）、及び前記試料（２）内に周期的に構造化される照明光（２９）を生成するための手段を有する顕微鏡（１）において、特に前記試料（２）を光学的に切断する絞りが前記検出器（６）の正面に配置されない、顕微鏡（１）。
18. 方法の請求項１～１６のいずれか１項に記載された方法を実行するように構成されるコンピュータプログラム。

Images