JP2022548376A - タイコグラフィ撮像システムおよび画像を生成するための方法 - Google Patents

タイコグラフィ撮像システムおよび画像を生成するための方法 Download PDF

Info

Publication number
JP2022548376A
JP2022548376A JP2022517768A JP2022517768A JP2022548376A JP 2022548376 A JP2022548376 A JP 2022548376A JP 2022517768 A JP2022517768 A JP 2022517768A JP 2022517768 A JP2022517768 A JP 2022517768A JP 2022548376 A JP2022548376 A JP 2022548376A
Authority
JP
Japan
Prior art keywords
light sources
imaging system
light source
light
ptychographic imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022517768A
Other languages
English (en)
Other versions
JP7478813B2 (ja
Inventor
トーマス・エンゲル
カルペッシュ・メフタ
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2022548376A publication Critical patent/JP2022548376A/ja
Application granted granted Critical
Publication of JP7478813B2 publication Critical patent/JP7478813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明は、タイコグラフィ撮像システムに関し、このタイコグラフィ撮像システムは、試料位置に光を発するように適合された複数の光源であって、所定のパターンで配置される、複数の光源と;前記複数の光源の動作の制御を行うように適用されたコントローラと;を含み、a)光源の前記所定のパターン、および、b)複数の光源の動作の制御のうちの少なくとも1つは、試料位置に対する光源の配置に起因する幾何学的影響を補償するように適用される。【選択図】図7

Description

本発明は、タイコグラフィ撮像システム、およびタイコグラフィ撮像システムを用いて画像を生成するための方法に関する。特に、本発明は、フーリエタイコグラフィ撮像システム、およびそのようなフーリエタイコグラフィ撮像システムを用いて画像を生成するための方法に関する。
小構造を撮像することは、高い開口数(NA)を有する光学システムを必要とする。デジタル撮像および高速コンピュータシステムは、低解像度の副画像を解析によりマージすることによって、高解像度の画像を生成する機会を提供する。
顕微鏡撮像のこれらの計算方法は、試料から散乱されたコヒーレント干渉パターンを処理することによって画像を生成するタイコグラフィを含む。試料または波場は、照明場または開口絞り等の定数関数に対して動く。フーリエタイコグラフィ撮像システムは、大きな視野および高い解像度のために有利である。異なる開口数設定によって多数の個々の画像が照明される。疑似コリメートされた、このため(空間的に)コヒーレントな照明が、大きな入射角で用いられる。撮像レンズの観点から、これは、高開口数設定における単一の非対称サブセットを有する照明システムに対応する。
従来のフーリエタイコグラフィシステムは、発光素子(LED)の平面状の2次元アレイを用いる。x方向およびy方向の双方において同じピッチで光源が配置される。すなわち、x方向およびy方向における隣接LED間の距離が一定のままである。光源は一度に1つずつオンにされ、それぞれの低解像度画像が取り込まれる。試料に対する光源の位置によって、測定されるフーリエスペクトルの部分が決まる。フーリエタイコグラフィ再構成の場合、要件は、少なくとも50%の重複を有するフーリエスペクトルを収集することである。
従来の均一LEDアレイは、高い入射角に起因して、試料平面において利用可能な電力密度の幾何学的低減が関連して生じるという影響を有する。前記低減は、入射角のコサインと共にスケーリングし、高い入射角において大きな影響を有する場合がある。
更なる影響は、試料を通る中心光軸から更に離れた光源が、冗長な情報をもたらすというものである。可能な解決策として、非特許文献1において、非均一サンプリングが提案された。
別の手法は、特許文献1に提案されているように、極座標における規則的配置に関する。
更に、スループットを増大すること、すなわち、同時に複数の光源を用いて低解像度画像を取り込むことによって、再構成に必要とされる画像数を低減することが知られている。例えば、特許文献2は、多重照明を用いたフーリエタイコグラフィ顕微鏡に関する。特許文献3は、多重化フーリエタイコグラフィ撮像システムおよび方法に関する。別の手法は、非特許文献2から既知である。
スループットを増大させるための別の手法は、非特許文献3から既知のコンテンツ適応照明である。この手法によれば、関連フーリエ成分が識別され、対応する光源が走査のために選択される。画像のサブセットのみを用いることによって、必要な画像数のいくらかの低減が可能である。
フーリエタイコグラフィ撮像システムは、連続時間点における複数の画像の生成を必要とするため、スティッチングアルゴリズムを用いて組み合わされた全ての副画像を生成するのに必要とされる時間を更に低減させる必要が常にある。同時に、画像の品質は高いままでなくてはならず、すなわち、副画像を生成する時間が低減されることが、画像品質の大幅な劣化につながるべきでない。
米国特許出願第2017/0371141(A1)号 米国特許出願第2017/0146788(A1)号 米国特許出願第2016/0088205(A1)号
Guo他、「Optimization of sampling pattern and the design of Fourier ptychographic illuminator」、Opt. Express 23, 6171-6180, 2015 Tian他、「Computational illumination for high-speed in vitro Fourier ptychographic microscopy」、Optica 2(10), 904-911, 2015 Bian他、「Content adaptive illumination for Fourier ptychography」、Opt. Lett. 39, 6648-6651, 2014
したがって、本発明の目的は、かなり短時間で高品質の画像を生成するタイコグラフィ撮像システム、およびタイコグラフィ撮像システムを用いて画像を生成するための方法を提供することである。
この目的は、独立請求項の主題によって解決される。本発明は、請求項1に記載のタイコグラフィ撮像システム、および請求項15に記載のタイコグラフィ撮像システムを用いて画像を生成するための方法を提供する。有利な実施形態が従属請求項に示される。
したがって、第1の態様によれば、本発明は、複数の光源およびコントローラを有するタイコグラフィ撮像システムを提供する。光源は試料位置に対し光を発する。光源は、所定のパターンで配置される。コントローラは、複数の光源の動作の制御を行う。光源の所定のパターンは、そうでなければ平面状の均一配置の場合に生じる、試料位置に対する光源配置に起因した幾何学的影響が、少なくとも部分的に補償されるように選択される。加えてまたは代替的に、光源の動作の制御は、試料位置に対する光源配置に起因した幾何学的影響を補償するように適用される。
第2の態様によれば、所定のパターンに配置された複数の光源を含むタイコグラフィ撮像システムを用いて画像を生成するための方法が提供される。複数の光源は試料を含む試料位置に光を発する。コントローラは、複数の光源の動作の制御を行う。光源の所定のパターン、および/または複数の光源の動作の制御は、試料位置に対する光源配置に起因する幾何学的影響を補償するように適用される。
光源の最適な配置絵は、均一なピッチおよび連続取得を用いる従来のフーリエタイコグラフィシステムと比較して、タイコグラフィ撮像システムのスループットを増大させることができる。幾何学的影響の補償は、距離の影響および角度の影響の補償を含むことができ、全角度スペクトルにわたる、より一定で改善した信号対雑音性能をもたらすことができる。再構成された画像における全体雑音性能が改善する。好ましい設定は、それぞれの再構成において組み合わされた全ての副画像について一定の雑音および背景レベルであり得る。
本発明の利点は、適応的な照明および/または検出設定、例えば、光源配置および/または光源の明るさが、副画像における最適化された信号対雑音比をもたらすというものである。更に、最適化された照明および露出制御に起因した、副画像における最適化された画像コントラストを達成することができる。タイコグラフィ撮像システムは、より高い可変性および柔軟性を提供する。更に、異なる回折角度を選択的に重み付けし、コントラストをつけることが可能である。実施形態によれば、例えば、より高いコントラストを提供することによって、特定の構造、特に小構造および/またはエッジおよび/または遷移領域を強調することができる。この影響は、特定のシステムによって、例えば人工知能またはニューラルネットワークに基づく機械学習方法を用いて更に処理される写真を撮影するために特に有利である。これらのシステムは、コントラストが強化される場合に、より良好に機能する。これらの場合、自然な外観は、より重要でないかまたは全く重要でない。
好ましくは、より大きい回折角が、中心光軸に対し増強される。より高いコントラストの画像は、実験室診断のような用途、例えばスライド上に固定された細胞のような、複数回撮像される可能性がある試料の血液学の場合に特に有利であり得る。本発明は、タイコグラフィシステムに一般的な再構成された画像のための、長い動作距離および大きなフィールド深度を有する高解像度の撮像を提供する。
本発明において用いられるとき、補償される幾何学的影響は、以下のうちの少なくとも1つを含むことができる:
a)試料位置に対する光源の幾何学的配置に基づいたプロファイルの角度発光特性等の、光源の角度に応じた空間発光特性。
b)コサイン効果、すなわち、入射角のコサインを用いた、試料位置における利用可能な電力密度のスケーリング。光源の入射角または方位角は、中心光軸と、光源から試料位置への線、すなわち特定の光源の光軸との間で測定される。平面状の光源配置の場合、光源配置の中心光軸は、平面に対し直交し、試料位置を通る。光源配置は、例えば球状キャップの形態で中心光軸に対し対称とすることができる。この場合、光源配置は中心光軸を選択する。
c)調査中の物体領域を照射する光源から生じる電力レベルのドロップオフは、光源の適切な制御によって、および/または球状の光源配置に近い幾何学的配置によって、少なくとも光軸上の点において一定のままにされる。
d)より大きい回折角は、より低い回折効率につながる。より低い回折効率の補償により、それぞれの再構成画像における小さな物体構成のより良好な解像度および/またはより高いコントラストにつなげることができる。高開口数顕微鏡法と対照的に、タイコグラフィは、ケーラータイプの照明を用いた標準的な顕微鏡学において用いられる平坦な照明プロファイルを有する照明システムと比較して、この影響をより効果的に制御する機会を提供する。
本発明において用いられるとき、副画像は、特定の光源を用いて、または複数の光源のうちの光源の特定の選択もしくはサブセットを用いて生成された画像を指す。
タイコグラフィ撮像システムの更なる実施形態によれば、複数の光源の所定のパターンは、試料位置を通る中心光軸周りの複数の同心円環における光源配置を含む。後続の円環における光源について、方位角におけるシフトは実質的に均一である。同じ同心円環内の隣接した光源について、極角におけるシフトは実質的に均一である。この実施形態によれば、タイコグラフィ撮像システムは、均一なθ-φ照明器を含み、θは極角であり、φは方位角である。この特定の光源配置は、従来の照明方法と比較して、測定値の任意の可変の冗長性を除去する。各後続の光源は、径方向および方位方向の双方において角度分離における均一のシフトをもたらす。好ましくは、方位角におけるシフトおよび極角におけるシフトは、全ての光源について、フーリエ空間全体において均一な50%の重なりを提供するように選択される。前記配置は、再構成に必要とされる画像数を低減し、より高いスループットをもたらす。再構成された画像は、光源の規則的なグリッド配置に起因して生じ得るアーチファクトがない。
タイコグラフィ撮像システムの更なる実施形態によれば、光源配置は平面状である。
タイコグラフィ撮像システムの更なる実施形態によれば、光源配置は球状である。この配置によれば、光源と試料位置との間の距離は好ましくは一定である。この配置は、縁部に位置する光源にハイダイナミックレンジ画像を提供するという更なる利点を有する。これは、画像を再構成するためのより良好な信号対雑音比につながる。この配置は、指向性、および光源と試料との間の距離から結果として生じる幾何学的影響を補正することができる。
タイコグラフィ撮像システムの更なる実施形態によれば、コントローラは、複数の光源を同時に動作させることによって、複数の光源の動作の制御を行う。同時に動作される光源数は、光源の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準によって制限される。例えば、タイコグラフィ撮像システムが複数のN個の光源を含む場合において、複数のM個の光源が同時に用いられるとき、必要な画像数がNからN/Mに低減する。これは、スループットがM倍増大することにつながる。
必要なフレーム数を低減するための多重化、すなわち複数の光源の動作は、関連情報が失われない限り、すなわち、フーリエ平面における異なる回折パターン同士を区別することが依然として可能である場合、有利であり得る。すなわち、フーリエ空間において構造の領域を識別し、それぞれの光源に領域を割り当てるために互いに対し領域を制限することが可能であるべきである。したがって、複数の回折パターンを、単一のフレームから分離および抽出することができる。分離可能性を補償するために、フーリエ空間における信号または構造は、異なる信号または構造が雑音レベルを上回ってマージしないようにするのに十分高速に減衰しなくてはならない。これは、最小角度距離によって、すなわち、角度座標空間における最小距離基準によって達成することができる。最小距離基準は、解析される物体の構造のサイズに基づいて選択することができる。多重化は、フーリエ空間における急速に減衰する振幅分布を有する弱回折構造の場合に特に有利である。好ましくは、距離は、直径方向に対向する光源が重なり合う回折を有する場合があることを考慮に入れて最大化される。
タイコグラフィ撮像システムの更なる実施形態によれば、コントローラは、複数の光源のうちの光源のサブセットを選択し、サブセット内の光源のみを動作させることによって複数の光源の動作の制御を行う。フーリエタイコグラフィにおいて、空間領域において試料を走査する代わりに、走査はフーリエ領域において実行される。したがって、いずれのフーリエ成分が存在するかが決定され、それぞれの照明デバイスが識別される。試料は、識別された照明デバイスのみを用いて走査される。全ての副画像が連続順序で生成されるため、光源のサブセットのみを用いることによって、高解像度画像を生成するために必要な時間を大幅に低減することができる。
タイコグラフィ撮像システムの更なる実施形態によれば、動作される光源のサブセットは、観察される試料の特性に基づいて選択される。試料は特定の要素または構造のみを含むことが知られている場合がある。いずれのフーリエ成分が優勢であるかは、要素または構造のサイズおよび材料特性に依存する。したがって、関連フーリエ成分のみ、すなわち、関連光源のみを、試料の特性に基づいて選択することができる。例えば、試料が血液試料である場合、コントローラは、血液試料に最も関連する光源を選択することができる。
タイコグラフィ撮像システムの更なる実施形態によれば、動作される光源のサブセットは、ユーザ入力に基づいて選択される。ユーザは、異なるタイプの試料間で選択することができる。各タイプの試料の光源をコントローラのメモリに記憶することができる。コントローラは、これに応じて光源のサブセットを選択する。サブセットを決定するために、フーリエスペクトルの密度を決定することができる。或る領域において、フーリエスペクトルの密度がより低く、フーリエデータが存在しない場合、それぞれの光源が測定のために用いられない。したがって、タイコグラフィ撮像システムは、コンテンツ適応照明を実施する。
タイコグラフィ撮像システムの更なる実施形態によれば、動作される光源のサブセットは、以前の較正に基づいて選択される。較正は、全ての光源または大部分の光源を用いて試料の較正画像を生成することを含む。更に、較正画像に対する光源の寄与に基づいて光源のサブセットが選択される。
タイコグラフィ撮像システムの更なる実施形態によれば、動作される光源のサブセットは、副画像のセットを取り込んでいる間に動的に選択され、この選択は、品質基準に関する実質的な信号寄与のエリアおよび/もしくは領域および/もしくは方向を決定することによる、この副画像のセットにおいて既に取得された副画像のフーリエ空間内の信号コンテンツの評価に基づき、かつ/または信号強度に基づき、既に測定された実質的な信号寄与のエリアおよび/または領域および/または方向に部分的に重なるかまたは近傍にある後続画像の光源を選択することによって行われる。
タイコグラフィ撮像システムの更なる実施形態によれば、副画像は、後続のフレームにおいて動作される光源を選択する前に、動作されるそれぞれの光源にフーリエ空間内の実質的コンテンツを割り当て、これらの光源のいずれを同時に動作させることができるかを、光源の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準による制限に応じて決定することによって、複数の光源を並列に動作させることによって取得される。
タイコグラフィ撮像システムの更なる実施形態によれば、コントローラは、光源配置内の光源の位置に応じて光源の照明パラメータを調節することによって複数の光源の動作の制御を行う。照明パラメータの制御は、試料位置に対する光源の距離、および/または光源の傾斜角に基づくことができる。
タイコグラフィ撮像システムの更なる実施形態によれば、照明パラメータの調節は、以下のうちの少なくとも1つの調節を含む。
a)光源の明るさ、
b)光源の動作の持続時間、
c)減衰フィルタ、
d)カラーフィルタ、
e)タイコグラフィ撮像システムの検出器の露出時間、および、
f)タイコグラフィ撮像システムの検出器の利得設定。
照明パラメータは、タイコグラフィ撮像システムの検出器の所与の信号対雑音比に合わせて調節することができる。これは、試料に対するおよび/または試料から検出器への、有効光束量、すなわち光量が制御されることを意味する。例えば、コントローラは、駆動電流振幅、駆動電流のスイッチオン時間、光ビーム路におけるフィルタの設定を制御することができるか、または利得および/もしくは露出時間を制御することによる検出器の露出制御を実行することができる。好ましくは、照明パラメータ、例えば、パラメータa)~e)のうちの少なくとも1つが、所与の信号対雑音比に達するように制御される。好ましくは、照明角ごとに、すなわち光源ごとに、照明パラメータのための特定の設定が決定される。
タイコグラフィ撮像システムの更なる実施形態によれば、制御のうちの少なくともいくらかは、タイコグラフィ撮像システムの検出器の利得制御、すなわち感度の制御によって達成することができる。
タイコグラフィ撮像システムの更なる実施形態によれば、コントローラは、光源の方位角に応じて照明パラメータを調節する。電力密度は、入射角のコサイン、すなわち光源の方位角と共にスケーリングする。これは、大きい角度の光源はより多くの電力を必要とすることを意味する。したがって、コントローラは、光源の方位角に応じて、特に、光源の方位角のコサインの逆を用いて照明パラメータを調節し、この角度の影響を補償することができる。
タイコグラフィ撮像システムの更なる実施形態によれば、タイコグラフィ撮像システムによって生成される副画像は、照明パラメータの標準設定の所定のセットに対し再スケーリングされる。再スケーリングは、照明パラメータの各々のそれぞれのスケーリング挙動を考慮に入れ、例えば露出時間による線形スケーリング、光束のLED駆動電流の非線形スケーリング等を行う。
タイコグラフィ撮像システムの更なる実施形態によれば、光源の所定のパターンに従って適合された形式の補償が用いられる。すなわち、補償は、光源の幾何学的設定に依存する。例えば、光源は、平行な光軸、または光源のうちの少なくとも1つの個々に傾いた光軸を有する平面内に配置することができ、ここで、光軸は、理想的には、試料の視野の中心、すなわち試料位置に方向付けられる。この配置により、それぞれの光源の幾何学的発光プロファイルの幾何学的補正量が低減する。更に、光源は、光源から試料位置までの距離から生じる影響を最小限にするために、球形の幾何学的形状で配置することができる。また、所望の画像設定の完全なアパーチャ範囲をカバーするために、光源のうちの少なくとも1つを用いて、1つの画像取込みから次の画像取込みへと異なる位置に動かすことができる。この動きは、LEDのようなそれぞれの光源もしくは光ファイバの遠位出力端を物理的にシフトさせることによって直接、または例えばガルバノスキャナのような走査ユニットによってそれぞれの光源からの光ビームの方向を変えることによって間接的に動作させることができる。適切な位置に対する光源のそれぞれの幾何学的設定に基づいて、コントローラは、補正のための適応的な設定を決定し、用いる。
タイコグラフィ撮像システムの更なる実施形態によれば、コントローラは、異なる回折角、すなわち照明アパーチャについて異なる強度を取得するように複数の光源の動作の制御を行い、再構成プロセスにおいて本質的にコントラスト改善を提供する。
方法の更なる実施形態によれば、複数の光源の動作の制御を行うことは、複数の光源を同時に動作させる工程を含む。同時に動作される光源数は、光源の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準によって制限される。例えば、動作される光源と、その近傍の動作される光源との間のθ-φ空間における最小距離が満たされなくてはならない。
本方法の更なる実施形態によれば、複数の光源の動作の制御を行うことは、複数の光源のうちの光源のサブセットを選択し、サブセット内の光源のみを動作させることを含む。
本発明は、添付の図面に示す例示的な実施形態を参照してより詳細に説明される。
添付の図面は、本発明の更なる理解を提供するために含まれ、本明細書に組み込まれ、その一部をなす。図面は、本発明の実施形態を示し、説明と共に、本発明の原理を説明する役割を果たす。
本発明の他の実施形態および本発明の意図される利点の多くは、以下の詳細な説明を参照することによってより良好に理解するようになるにつれ、容易にわかるであろう。同様の参照符号は、対応する類似の部材を指定する。方法工程は、参照をより容易にするために付番されるが、明示的にまたは暗黙的に別段の指示がない限り、この付番は、必ずしも工程がその順序で実行されることを暗に意味するものではないことが理解されるべきである。特に、工程は、付番によって示されるのと異なる順序で実行することもできる。いくつかの工程は、同時に、または重複して実行することができる。
本発明の実施形態によるタイコグラフィ撮像システムを示すブロック図を概略的に示す。 本発明の実施形態によるタイコグラフィ撮像システムを概略的に示す。 光源配置の方位角およびピッチを示す。 光源の極角を示す。 x軸に沿った位置の関数として光源の平面状アレイの照明開口数を示す。 本発明の実施形態による光源配置の上面図である。 図6による光源配置を側面図で概略的に示す。 シミュレーションのために用いられる試験物体を概略的に示す。 グリッドベースの従来の照明のシミュレートされた低解像度画像を示す。 グリッドベースの従来の照明の再構成された高解像度画像を示す。 本発明の実施形態によるタイコグラフィ撮像システムによって取得される再構成された高解像度画像を示す。 試験物体の例示的なフーリエスペクトルを示す。 タイコグラフィ撮像のために用いられる光源の例示的なサブセットを示す。 本発明の実施形態によるタイコグラフィ撮像システムによって取得される再構成された高解像度画像を示す。 本発明の別の実施形態によるタイコグラフィ撮像システムによって取得される再構成された高解像度画像を示す。 本発明の更に別の実施形態によるタイコグラフィ撮像システムによって取得される再構成された高解像度画像を示す。 本発明の実施形態によるタイコグラフィ撮像システムを用いて画像を生成するための方法のフロー図を示す。
図1は、タイコグラフィ撮像システム1を示すブロック図を示す。タイコグラフィ撮像システム1は、複数の光源2、特に、タイコグラフィ撮像システム1の試料位置に配置された試料上に光を発する発光素子(LED)を含む。光源2は、所定のパターンで配置される。配置の全体形状は、平面状のアレイまたは球状キャップを含むことができる。
光源2は、中心光軸周りで複数の同心円環に配置することができる。同じ同心円環内の全ての光源2は、中心光軸と、光源2から試料位置への線との間で測定される同じ方位角を有する。光源2の方位角は、隣接する同心円環間の一定のシフトを示すことができる。換言すれば、異なる隣接する同心円環における光源2の方位角間の差は、検討中の同心円環と無関係である。
同様に、極角におけるシフトは、同じ同心円環内で選択された2つの光源2ごとに均一とすることができる。換言すれば、同じ同心円環における2つの隣接する光源の極角間の差は、選択された光源2と無関係である。特に、異なる同心円環における光源2は、各同心円環内に整数個の光源2のみが存在可能であることに起因した逸脱は別として、極角における本質的に同じシフトを有することができる。
タイコグラフィ撮像システム1のコントローラ3は、光源2の動作の制御を行う。コントローラ3は、マイクロコントローラ(μC)のような中央処理ユニット(CPU)またはグラフィック処理ユニット(GPU)、集積回路(IC)、特定用途向け集積回路(ASIC)、特定用途向け規格品(ASSP)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のうちの少なくとも1つを含むことができる。コントローラ3は、記憶装置を含むか、または記憶装置へのアクセスを有することもできる。記憶装置は、揮発性または不揮発性データメモリ、例えばソリッドステートディスク、メモリカード等とすることができる。好ましい実施形態において、コントローラは、一度に動作させる選択されたLEDの以前に定義されたサブセットのシーケンスを記憶しておくことができ、副画像の全体セットのための副画像の取込み中にシーケンスのこれらのサブセットを呼び出す。
それぞれの副画像を生成する度に、少なくとも1つの光源2がコントローラ3によって起動される。コントローラ3は、同時に複数の光源2のサブセットを動作させることができる。特に、副画像ごとに、コントローラ3は動作される少なくとも2つの光源を選択することができる。光源2は、所定のパターンに従って選択することができる。
コントローラ3は、複数の光源2のサブセットを選択することもできる。選択された光源2のみが、それぞれの副画像を生成するために動作される。各副画像を生成するために1つまたはそれ以上の光源2を選択することができる。選択されない光源2は、副画像の生成に用いられない。コントローラ3は、記憶装置に記憶された命令に従って光源2を選択することができる。
コントローラ3は、観察される試料の特性に従って、動作されるサブセットを選択することができる。タイコグラフィ撮像システム1は、ユーザから命令を受信するためのユーザインタフェースを含むことができる。ユーザは、試料のタイプに関する1つまたはそれ以上のオプションを選択することができる。試料のタイプごとに、光源2のそれぞれのサブセットがコントローラ3によって選択される。
コントローラ3は、以前の較正に基づいて光源2を選択することもできる。較正中、コントローラ3は、低解像度の副画像を生成する。副画像を生成するために、全ての光源2が用いられる。換言すれば、較正段階中は選択がない。次に、コントローラ3は、低解像度の副画像を組み合わせることによって高解像度画像を生成することができる。高解像度画像は、較正画像とみなされる。次に、コントローラ3は、フーリエ解析を用いて高解像度画像を解析して、最も寄与するフーリエ成分を決定することができる。例えば、特定の閾値を超える平均値を有する成分のみを、「最も寄与する」または関連するとみなすことができる。複数の光源2のうちの特定の光源2は、それぞれのフーリエ成分に対応する。動作中、コントローラ3は、較正段階中に識別された最も寄与するフーリエ成分に対応する光源2のみを選択する。
コントローラ3は、光源2の照明パラメータを制御するように適用することができる。照明パラメータの値は、光源2の配置内の光源2の位置に依存することができる。特に、照明パラメータは、光源2の方位角のみに応じて選択することができる。換言すれば、同一の照明パラメータが、同じ方位角を有する光源2について選択される。異なる方位角を有する光源2の場合、照明パラメータのうちの少なくともいくつかが異なる。照明パラメータは、光源2の明るさ、光源2の動作の持続時間、タイコグラフィ撮像システム1の検出器の減衰フィルタ、カラーフィルタ、利得値、および/または露出時間を含むことができる。
図2は例示的なタイコグラフィ撮像システム1を示す。タイコグラフィ撮像システム1は光源2のアレイを含む。光源2は、試料位置5に位置する試料を有する試料平面4上に(レーザ)光を発する。試料位置は拡張される。しかしながら、隣接する光源2間の距離の寸法に対し、試料位置のサイズが小さいことに起因して、試料位置は、良好な近似において点状とみなすことができる。試料は、血液等の、流体の固体構造の試料を含むことができる。
光源2によって発せられる光は、例えば吸収、偏向または反射を介して試料と相互作用する。光源2によって発せられる光の少なくとも一部は、試料位置5において試料を通り、顕微鏡対物レンズ6に入る。撮像レンズ7は、光を実平面の撮像検出器8上に集束させる。検出器8は、副画像を生成し、例えばコントローラ3の記憶装置にデータを記憶する。また、検出器8は、データを解析するための外部コンピュータ等の外部処理ユニットにデータを提供することができる。
図2は光源2の均一アレイを示しているが、光源2のアレイは、通常、光源2間の非均一間隔等の異なる配置を有してもよい。特に、配置は、方位角および/または極角における均一なシフトを含んでいてもよい。加えて、異なる配置は、異なる種類の光源をタイコグラフィ照明器内の異なる位置に設置することができることも含むことができる。異なる種類の光源は、限定ではないが、以下のタイプ:RGB LED、S-LEDのような、モノクロームもしくは単一帯域幅発光または複数帯域幅発光の発光素子(LED)、レーザ、特に半導体レーザ、熱エミッタ、ファイバベースの光源等から選択することができる。光源は、例えば以下の特性:波長、スペクトル帯域幅、空間発光特性、連続動作またはパルス式動作のような時間放出特性、時間および/または空間コヒーレンスの度合いのようなコヒーレンスパラメータ、明るさまたはエタンデュ、のうちの少なくとも1つにおいて異なることができる。
図3は、光源2の配置の方位角φおよびピッチxを示す。方位角φは、中心光源21を通り、試料位置5まで伸びる中心光軸と、それぞれの光源22および試料位置5間に伸びる線との間で測定される角度である。ピッチxは、2つの隣接する光源21、22間の距離に対応する。
図4は、光源2の極角θを示す。特定の光源22の極角θは、前記光源22および中心光源21の間の線と、所定の光源23および光源21間の別の線との間の角度に対応する。所定の光源23は、任意で基準として選択される。重要なのは、極角におけるシフト、すなわち、同じ同心円内の2つの隣接する光源22、23の極角間の差であり、これは基準と無関係である。
図5は、光源2の従来の均一な平面状アレイの照明開口数Aを、x軸に沿った位置Bの関数として示す。各光源照明は、フーリエ空間において分離した測定を提供する。そのような複数の分離した測定が、高解像度の高視野画像の再構成のために用いられる。画像の正確な再構成のために、近傍の発光素子2によって測定されるフーリエスペクトル間で少なくとも50%の重なりを有することが必要である。中心において、隣接する発光素子2間の重なりは約55%とすることができる。図5から観察することができるように、照明開口数は線形に増大しない。これは、周辺に向けた隣接する光源2のフーリエスペクトル間の重なりの増大につながる。この問題を考慮して、光源2の特定の配置を選択することができる。
図6は、光源2の配置を上面図で概略的に示す。
図7は、図6による光源2の配置の側面図を概略的に示す。光源2は、中心光軸周りで複数の同心円に配置される。方位角φにおけるシフトは、均一になるように選択され、同じ同心円における光源2間の極角θにおけるシフトも、実質的に均一になるように選択される。換言すれば、タイコグラフィ撮像システム1は、均一のθ-φ照明器を含む。
好ましくは、各同心円環の角度の向きは、統計的にまたはランダムに選択される。換言すれば、追加の対称性は、好ましくは、アーチファクトの発生を阻止するために回避される。例えば、そのようなアーチファクトは、同心円環ごとに光源2を含む球上に大円(または経線)が存在する場合に生じる場合がある。好ましくは、光源2は経線に沿って配置されない。
図6および図7は、球状の均一なθ-φ照明器を示しているが、光源2を平面に配置し、それによって平面状の均一なθ-φ照明器を提供することもできる。平面の場合、ここでもまた、追加の対称性が回避されることが好ましい。したがって、異なる円環のLEDは、球状の場合の経線に対応する直線の径方向の線上に配置されない。
そのような配置を決定するために、第一に、径方向において、連続光源2が約50%のフーリエスペクトルの重なりを有するように、極角を決定することができる。これらの極角および予測最大開口数を用いて、光源2の環番号が得られる。各円環は、径方向における均一の重なりが存在することを確実にするように、均一の極角ステップにおいて配置されることになる。
例えば、0.1の開口数のための理想的なピッチは約5mmである。最もハイパワーのLEDは、約2~3mmのフットプリントを有する。高さ、すなわち中心光源21と試料位置5との間の距離が70mmとなるように選択される場合、フーリエスペクトルにおいて約55%の重なりがある。ピッチxおよび高さから、以下の式に従って方位角を計算することができる:
φ=tan-1(ピッチ/高さ)=4.08°
次に、軸に沿った光源2の位置が、合成アパーチャ要件に基づいて決定される。例えば、合成アパーチャが0.6となる必要がある場合、照明開口数は、回折によるレンズの0.1の開口数を利用して、少なくとも約0.5となる必要がある。最大方位角は、以下の式に従って計算することができる:
φmax=sin-1(0.5)=30°
以下において、φmax=32°を用いる。各円の半径は、以下の式に従って計算することができる:
r=高さ・tan(n φ)
ここで、n=1,2,…である。最大半径は、必要とされる有効開口数に依存する。0.5の照明開口数を達成するには、追加の光源2を用いて7つの円環に取り囲まれた中心光源2が必要とされる。
円の半径は以下の値(mm単位)によって与えられる:
4.8949、9.8379、14.8790、20.0722、25.4779、31.1660、37.2197
これらの半径に位置する光源2は、径方向に沿った均一な重なりを維持する。
次に、方位方向に沿った均一な重なりが存在するように、各円上で光源2の方位位置をどのように得るかが説明される。
第一に、第1の円の光源2の数が、隣接する光源2間の極角θにおけるシフトについて以下の式を用いて計算される:
Δθ=tan-1(ピッチ/半径)=45.6°
したがって、第1の円について、360/45=8個の光源2が必要とされる。
同様に、それぞれの円が以下の値を有するように方位角におけるシフトが計算される:
45.6086、26.9414、18.5746、13.9877、11.1031、9.1144、7.6512
光源2のそれぞれの数が計算され、以下となる。
7.8933、13.3623、19.3813、25.7368、32.4234、39.4981、47.0517、55
少なくとも50%の瞳における重なり基準に違反しないように、最も近い、より大きな整数に丸めることによって、円nごとに光源2の数Mが得られる:
8、14、20、26、33、40、47、55
円環nの角度ステップサイズΔθは以下によって計算される:
Δθ=360/M
ここで、Mは、円環nにおける光源のそれぞれの数Mを表す。
各光源2の位置は、以下の式を用いて、角度座標および半径を用いて得ることができる:
[x,y]=[r・cos(m・Δθ),r・sin(m・Δθ)]
この式において、rは各光源2の半径を表し、mは、1から、円n上の光源2の最大数Mまで変動する。追加の対称性を回避する好ましい実施形態によれば、円環nごとに、(好ましくは異なる)統計角Δθn0を追加することができ、これは以下から決定することができる:
Δθn0=Rn・Δθ
ここで、Rnは、全ての円環についての範囲]0;1[内の少なくとも1つの乱数、または好ましくは、範囲[0;1[からの全ての円環について異なる乱数を表す。Δθの異なる値に起因して、1つの乱数であっても追加の対称性を回避するのに役立つ。このとき、光源2の位置は、以下の式によって円環nの角度座標、角度オフセットおよびそれぞれの半径によって得られる:
[x,y]=[r・cos(m・Δθ+Δθn0),r・sin(m・Δθ+Δθn0)]
球状に均一なθ-φアレイの設計の場合、類似のステップを用いて極角および方位角が得られる。平面状のアレイと比較して唯一の差は、光源の座標が以下の式を用いて決定されることである。
x=高さ・sin(n φ)・sin(m・Δθ
y=高さ・sin(n φ)・cos(m・Δθ
z=高さ・cos(n φ)
この式によれば、nは1から最大半径数まで変動する。Δθは、環番号nにおける方位ステップサイズを表す。mは、環番号nにおけるそれぞれの光源2の数を表し、1~Mの範囲をとる。好ましい実施形態の場合、これに応じて統計角Δθn0を追加することができる。
先行する図面において説明した配置における光源は、以下のもの:LED、SLEDのような半導体ベースの光源、半導体レーザ、例えばVCSEL、ガスレーザ、白色光レーザ、例えばファイバ結晶レーザ、蛍光ベースのまたは広がる光源、例えば白色光LED、熱光源、例えばハロゲンランプ、アークランプ、例えばXe-Hgランプ、ファイバベースの光源、うちの少なくとも1つを含むことができる。ここで、上記の光源のうちの任意のものをファイバに結合することができ、ファイバの出力端が光源としての役割を果たすことができる。更に、これらの光源は、コリメータまたは集束光学系のような光学素子を形成するビームと結合し、調査中の試料エリア5上に放射されるエタンデュを最適化することができる。コリメータ光学系は、限定ではないが以下のもの:レンズ、GRINレンズ、回折光学素子(DOE)、屈折光学素子、例えばフレネルレンズ、コンピュータ生成ホログラム、から選択することができる。
図8は、シミュレーションのためのグランドトゥルースとしての役割を果たす試験物体を概略的に示す。試験物体の画像の生成が、光源2の平面状の均一なアレイを有する従来のタイコグラフィ撮像システムを含む、異なる複数のタイコグラフィ撮像システムについてシミュレーションされる。
図9は、0.1の開口数の対物レンズを有する、そのようなグリッドベースの従来の照明のシミュレートされた低解像度画像を示す。観察することができるように、品質は比較的不良であり、小構造が解像されていない。
図10は、複数の低解像度画像のスティッチングに基づく、グリッドベースの従来の照明の再構成された高解像度画像を示す。全体で、289個の低解像度画像が組み合わされ、図10に示す高解像度の画像が取得された。
図11は、本発明による、均一なθ-φ照明器を有するタイコグラフィ撮像システム1によって取得される再構成された高解像度画像を示す。特定の配置に起因して、従来の撮像システムに用いられるのと同じ開口数について、高解像度の画像を再構成するには、より低い数の244個の画像しか必要とされない。
以下において、コントローラ3が、複数の光源2のうちの光源2のサブセットを選択し、サブセット内の選択された光源2のみを動作させることによって複数の光源2を動作させるタイコグラフィ撮像システム1が記載される。
図12は、図8に示す試験物体の例示的なフーリエスペクトルを示す。試験物体は、x軸およびy軸に沿ってのみ大きなフーリエ成分を有することを見て取ることができる。したがって、動作される光源2の数は、大きな情報を失うことなく制約することができる。
図13は、タイコグラフィ撮像のために用いられる光源2の例示的なサブセットを示す。x軸およびy軸に沿った光源2のみがそれぞれの低解像度画像を生成するために選択される。
加えてまたは代替的に、複数の光源2を同時に用いることができる。例えば、低解像度の画像ごとに、2つの光源2を選択し、オンにして、それぞれの低解像度画像を取り込むことができる。
図14は、本発明による、均一なθ-φ照明器を有するタイコグラフィ撮像システム1によって取得される再構成された高解像度画像を示す。低解像度画像ごとに2つの光源2が用いられる複数のLED照明を用いて、低解像度画像から高解像度画像が再構成される。タイコグラフィ再構成プロセスにおいて合計122個の低解像度画像をマージすることによって、高解像度画像が取得された。
図15は、本発明による、均一なθ-φ照明器を有するタイコグラフィ撮像システム1によって取得される再構成された高解像度画像を示す。低解像度画像を生成するために、光源2のコンテンツ適応選択が用いられた。したがって、図13に示す光源2のみ、すなわち、x軸およびy軸に沿った光源のみが、低解像度画像を生成するために用いられる。高解像度画像は、合計31個の低解像度画像をスティッチングすることによって得られた。
図16は、本発明による、均一なθ-φ照明器を有するタイコグラフィ撮像システム1によって取得される再構成された高解像度画像を示す。同時に2つの光源2を用いることによる複数LED照明に加えて、光源2のコンテンツ適応選択が用いられた。コンテンツ適応選択は、物体に関する事前知識に基づくことができる。したがって、図13に示す光源2のみ、すなわち、x軸およびy軸に沿った光源2のみが、低解像度画像を生成するために用いられる。したがって、タイコグラフィ撮像システム1は、複数LED照明を、光源2のコンテンツ適応選択と組み合わせる。高解像度画像は、合計19個の低解像度画像を再構成することによって得られた。
通常、所与の物体について、瞳面または画像のフーリエ変換におけるフーリエ成分のパターンの向きは、それぞれ、撮像システムの物体空間内の物体の向きまたは3次元姿勢に強く依存する。
図16において、試験パターンの軸は、撮像システムのセンサアレイのx軸およびy軸と位置合わせされる。更に、光源の二次グリッドも物体のx軸およびy軸に対し位置合わせされる。したがって、空間周波数領域における変換画像のフーリエパターンは、検出器のx軸およびy軸と位置合わせされ、このため、選択される画像フレームおよび光源も、撮像システムの光軸と交差する光源2のグリッドのx軸およびy軸と位置合わせされるように選択される。
Figure 2022548376000002
表1は、異なる複数のタイコグラフィ撮像システム1を比較する。均一なθ-φ照明器、複数LED照明、およびコンテンツ適応照明の使用の各々が、再構成に必要とされる画像数の低減に役立つことができることを見て取ることができる。3つ全ての尺度が同時に用いられる場合、再構成に必要とされる画像数は289個から19個のみに低減される。したがって、高解像度画像の再構成のために低解像度画像を生成するのに必要とされる時間が大幅に低減される。
通常、光源が物体の画像空間周波数構造の事前知識に基づいて選択される場合、まず、第一に、撮像システムの物体空間における物体の空間的向きもしくは姿勢、または物体の座標系を表す幾何学的主軸を決定することが重要である。連続工程において、撮像プロセスにおいて用いられる光源2の所定のサブセットが、撮像システムの物体空間内に位置決めされたときの物体の向きまたは主軸に対し、角度の向きを合わせられる。
光源2のコンテンツ適応選択に対する別の代替的な手法は、第1の工程における画像の取得、および第2の工程における画像に埋め込まれたフーリエ成分の解析に基づくことができる。物体を再構成するときの信号に対するそれぞれの光源2の寄与の強度に基づいて、光源2は、撮像システムにおける同じ物体または同じ種類の物体の撮像の後の複製において用いられる光源2のサブセットの一部となるように選択または選択解除することができる。ここでもまた、光源2が物体の空間周波数コンテンツに適応して選択されたとき、測定される物体の向きが、同じ物体または基準物体の向きと同一であることが重要である。位置合わせ不良がある場合、上記のセクションで事前知識の場合について説明した光源2の選択に対する適応を行わなくてはならない。
コンテンツ適応選択は、物体画像におけるより高次の空間周波数成分を反復的にチェックすることにも基づくことができる。好ましくは、第1の画像は、中心光源2に基づく軸上照明のような低照明アパーチャ、または低環番号nを有する光源からの低アパーチャ照明を用いて取得される。低アパーチャ照明を用いたこの画像または画像のサブセットの空間周波数コンテンツが決定されると、次に高い番号nの円環における光源が、好ましくは、より低い空間周波数の実質的なフーリエ成分が既に選択されている径方向において選択される。径方向の方向が実質的なフーリエ成分を有するか否かは、例えば、フーリエ成分の絶対強度の閾値のような適切なメトリックに基づいて、またはそれぞれのエリアへの近傍領域と比較して、または同じ径方向距離を有する他のフーリエ成分の平均に対し、またはその径方向距離について予測される背景雑音レベルに対し、判断することができる。この方法は、事前知識からの参照情報、または第1の工程において画像を取得することに依存しないため、光源2を選択し、連続画像にそれらを適用するときに角度補正を行う必要がない。他方で、反復的なチェック方法は、第1の物体において光源2を選択し、比較可能な物体に対する連続測定のために光源の定義されたサブセットを用いるために有利である場合がある。光源2のこのサブセットを別の物体に適用するときにのみ、第2の物体のそれぞれの向きに対する、選択された光源2の角度の適応を行うことができる。
コンテンツ適応選択は、画像を取得する間であっても動的に行うことができる。始めに、第1の画像が、好ましくは軸上照明について、低照明アパーチャ角を用いて取り込まれる。この画像のフーリエ変換が決定される。このフーリエ変換において、実質的な信号寄与が決定される、径方向の軸におけるピークのシーケンスのエリアまたは領域または方向が決定される。光源2を選択するためのフーリエ空間のための重なり基準に起因して、径方向の軸のエリア、領域または方向がそれぞれの照明アパーチャと重なる近傍の光源2が選択される。その光源または複数の光源について次の画像が取得され、ここで、最大の実質的信号寄与は、アパーチャ空間における重なりエリアにある。複数の光源2が適用されるとき、光源2の空間座標空間または角度座標空間における最小距離基準に従うことができる。次の画像が取得されるとき、評価は第1の画像に類似して行われる。
2つの画像の径方向の軸の決定されたエリア、領域および/または方向から、その光源または複数の光源について次の画像が取得され、ここで、最大の実質的信号寄与は、アパーチャ空間における重なりエリアにある。もはや実質的な信号寄与がなくなるまで、または径方向の軸の全ての残りのエリア、領域または方向が、これまで用いられていない追加の光源2による実質的寄与を有しなくなるまで、更なる画像について手順が実行される。この状況は、終了基準とみなすことができる。画像のサブセットが完了するか、または終了基準に達した後、この画像のサブセットにタイコグラフィ評価が適用され、高解像度画像が決定される。
図17は、タイコグラフィ撮像システム1を用いて画像を生成するための方法のフロー図を示す。方法は、上記で説明したタイコグラフィ撮像システム1のうちの任意のものを用いて実行することができる。
タイコグラフィ撮像システム1は、所定のパターンで配置された複数の光源2を含む。光源2は、タイコグラフィ撮像システム1の試料位置5を通る中心光軸周りで複数の同心円環に配置することができる。後続の円環における光源の方位角におけるシフトは実質的に均一とすることができる。更に、同じ同心円環内の隣接光源の極角におけるシフトは実質的に均一とすることができる。光源2の配置は、平面状もしくは球状とすることができるか、または特定用途向けの最適化をサポートするための任意の他の幾何学的形状とすることができる。例えば、平面配置において、光源は、光軸からのそれぞれの距離に従って平面に対し傾けることができる。次に、セットアップは、個々の光源の非均一グリッドを提供し、それらの各々が、光軸に対しそれぞれの角度を有して傾けられ、本質的に、全ての光源の全ての光軸が試料平面における点または小領域5において交差するようにする。この配置は、例えば、LED、ファイバ、ファイバ束、低速および高速の軸を有するレーザ、またはVCSELのより指向性の発光プロファイルにおいて一般的に見られるような、光源2の空間的に非均一な発光特性の影響を最小限にするのに役立つ。
第1の方法工程S1において、コントローラ3は、タイコグラフィ撮像システム1の試料位置5における試料上に(レーザ)光を発するように光源2を動作させるために、光源2に制御信号を送信する。
コントローラ3は、同時に複数の光源2を動作させることによって、複数の光源2の動作の制御を行うことができる。換言すれば、各低解像度画像は、複数の光源2を用いることによって生成される。例えば、各低解像度の画像は、2つの光源2を用いることによって取得することができる。
コントローラ3は、複数の光源2の光源2のサブセットを選択し、サブセット内の光源2のみを動作させることによって、複数の光源2の動作の制御を行うこともできる。例えば、図13に示すように、コントローラ3は、x軸およびy軸に沿った光源2のみを選択することができる。光源の選択は、観察または測定される試料の特性に基づくことができる。選択は、ユーザ入力にも基づくことができる。例えば、ユーザは、いくつかのタイプの試料間で選択することができ、コントローラ3は、選択されたタイプの試料に対応する光源2を選択する。それぞれのタイプの試料についていずれの光源2が選択されるかを、タイコグラフィ撮像システム1のメモリ内のルックアップテーブルに記憶することができる。コントローラ3は、ルックアップテーブルを用いて光源2を選択する。試料タイプ固有のルックアップテーブルは、ユーザに対するプリセットとして提供することができる。
光源2のサブセットは、以前の較正に基づいて選択することもできる。較正中、低解像度画像が光源2のうちの1つまたはそれ以上を用いて生成される。光源2の全てまたは光源2の少なくとも大部分が、それぞれの低解像度画像を生成するために用いられる。最後に、低解像度画像が組み合わされて較正画像が生成される。較正画像は、光源2の最も大きな寄与を決定するために、例えばフーリエ解析を用いて解析される。例えば、較正画像のフーリエスペクトルに寄与し、所定の閾値を超えるフーリエ成分に対応する光源2のみが選択される。「有用な」光源のこの選択は、画像取込みを最小限にし、最適化すると共に、フーリエ成分における大きな寄与が測定されなかったまたはそれぞれの強度が背景レベルに対する信号において非常に低いLEDの近傍の領域における照明をスキップするように、低解像度画像の画像取込みプロセス中にリアルタイムで動的に実行することもできる。
コントローラ3は、光源2の配置内の光源2の位置に応じて光源2の照明パラメータを調節することによって、複数の光源2の動作を更に制御することができる。特に、コントローラ3は、光源2の明るさ、光源2の動作の持続時間、タイコグラフィ撮像システム1の検出器の減衰フィルタ、カラーフィルタ、利得、および/または露出時間を調節することができる。
照明パラメータは、光源2の配置に起因した幾何学的影響を低減または除去するように調節することができる。例えば、照明パラメータは、光源2の方位角に応じて、例えば光源2の方位角のコサインに応じて調節することができる。
更なる方法工程S2において、光源2のうちの1つまたはそれ以上によって生成された複数の低解像度画像は、高解像度画像を生成するために組み合わされる。
更なる方法工程において、例えば、高解像度画像における特定の成分または構造を検出するために、高解像度画像を更に解析することができる。解析は、標準的な画像解析ツールを用いることができる。
第1の態様によるタイコグラフィ撮像システムの実施形態に関して本明細書および上記で記載した全ての有利なオプション、変更形態の多様性を、第2の態様による方法の実施形態に等しく適用することができ、逆もまた同様であることを理解されたい。
上記の詳細な説明において、本開示を簡素化する目的で、様々な構成が1つまたはそれ以上の例にまとめてグループ化されている。上記の説明は、限定ではなく例示を意図したものであることを理解されたい。上記の説明は、代替形態、変更形態および等価物を包含することが意図される。多くの他の例が、上記の明細書を読んだ当業者には明らかとなろう。
1 タイコグラフィ撮像システム
2 光源
3 コントローラ
4 試料平面
5 試料位置
6 顕微鏡対物レンズ
7 撮像レンズ
8 撮像検出器
21~23 光源
A 照明開口数
B 位置
X ピッチ
θ 極角
φ 方位角
S1 第1の方法工程
S2 第2の方法工程

Claims (17)

  1. タイコグラフィ撮像システム(1)であって、
    試料位置(5)に光を発するように適合された複数の光源(2)であって、所定のパターンで配置される、複数の光源と;
    前記複数の光源(2)の動作の制御を行うように適用されたコントローラ(3)と;
    を含み、
    a)光源(2)の前記所定のパターン、および、b)複数の光源(2)の動作の制御のうちの少なくとも1つは、試料位置(5)に対する光源(2)の配置に起因する幾何学的影響を補償するように適用される、前記タイコグラフィ撮像システム。
  2. 複数の光源(2)の所定のパターンは、試料位置(5)を通る中心光軸周りの複数の同心円環における光源(2)の配置を含み;
    後続の円環における光源(2)について、方位角におけるシフトは実質的に均一であり、光源(2)の方位角は、中心光軸と、前記光源(2)から試料位置(5)への線との間で測定され;
    同じ同心円環内の隣接した光源(2)について、極角におけるシフトは実質的に均一である、請求項1に記載のタイコグラフィ撮像システム(1)。
  3. 光源(2)の配置は平面状である、請求項1または2に記載のタイコグラフィ撮像システム(1)。
  4. 光源(2)の配置は球状である、請求項1または2に記載のタイコグラフィ撮像システム(1)。
  5. コントローラ(3)は、複数の光源(2)を同時に動作させる工程を含む、複数の光源(2)の動作の制御を行うように適用され、同時に動作される光源(2)の数は、該光源(2)の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準によって制限される、請求項1~4のいずれか1項に記載のタイコグラフィ撮像システム(1)。
  6. コントローラ(3)は、複数の光源(2)のうちの光源(2)のサブセットを選択し、該サブセット内の光源(2)のみを動作させる工程を含む、複数の光源(2)の動作の制御を行うように適用される、請求項1~5のいずれか1項に記載のタイコグラフィ撮像システム(1)。
  7. 動作される光源(2)のサブセットは、観察される試料の特性に基づいて選択される、請求項6に記載のタイコグラフィ撮像システム(1)。
  8. 動作される光源(2)のサブセットは、ユーザ入力に基づいて選択される、請求項6または7に記載のタイコグラフィ撮像システム(1)。
  9. 動作される光源(2)のサブセットは、以前の較正に基づいて選択され、較正は:
    全ての光源(2)を用いて試料の較正画像を生成する工程と;
    較正画像に対する光源(2)の寄与に基づいて光源(2)のサブセットを選択する工程とを含む、請求項6に記載のタイコグラフィ撮像システム(1)。
  10. 動作される光源(2)のサブセットは、副画像のセットを取り込んでいる間に動的に選択され、この選択は、品質基準に関する実質的な信号寄与のエリアおよび/もしくは領域および/もしくは方向を決定することによる、この副画像のセットにおいて既に取得された副画像のフーリエ空間内の信号コンテンツの評価に基づき、かつ/または信号強度に基づき、既に測定された実質的な信号寄与のエリアおよび/または領域および/または方向に部分的に重なるかまたは近傍にある後続画像の光源(2)を選択することによって行われる、請求項6に記載のタイコグラフィ撮像システム(1)。
  11. 副画像は、後続のフレームにおいて動作される光源(2)を選択する前に、動作されるそれぞれの光源にフーリエ空間内の実質的コンテンツを割り当て、これらの光源(2)のいずれを同時に動作させることができるかを、光源(2)の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準による制限に応じて決定することによって、複数の光源(2)を並列に動作させることによって取得される、請求項10に記載のタイコグラフィ撮像システム(1)。
  12. コントローラ(3)は、光源(2)の配置内の光源(2)の位置に応じて光源(2)の照明パラメータを調節する工程を含む、複数の光源(2)の動作の制御を行うように適用される、請求項1~11のいずれか1項に記載のタイコグラフィ撮像システム(1)。
  13. 照明パラメータを調節することは、
    光源(2)の明るさ、光源(2)の動作の持続時間、タイコグラフィ撮像システム(1)の検出器の減衰フィルタ、カラーフィルタ、利得、および露出時間のうちの少なくとも1つの調節を含む、請求項12に記載のタイコグラフィ撮像システム(1)。
  14. コントローラ(3)は、光源(2)の方位角に応じて照明パラメータを調節するように適用される、請求項12または13に記載のタイコグラフィ撮像システム(1)。
  15. 所定のパターンで配置された複数の光源(2)を含むタイコグラフィ撮像システム(1)を用いて画像を生成するための方法であって:
    複数の光源(2)によって、試料を含む試料位置(5)に光を発することと;
    コントローラ(3)によって、前記複数の光源(2)の動作の制御を行うことと;
    を含み、
    a)光源(2)の前記所定のパターン、および、b)複数の光源(2)の動作の制御のうちの少なくとも1つは、試料位置(5)に対する光源(2)の配置に起因する幾何学的影響を補償するように適用される、前記方法。
  16. 複数の光源(2)の動作の制御を行うことは、複数の光源(2)を同時に動作させる工程を含み、同時に動作される光源(2)の数は、光源(2)の空間座標空間または角度座標空間における所与の最大数および/または最小距離基準によって制限される、請求項15に記載の方法。
  17. 複数の光源(2)の動作の制御を行うことは、複数の光源(2)のうちの光源(2)のサブセットを選択し、該サブセット内の光源(2)のみを動作させる工程を含む、請求項15または16に記載の方法。
JP2022517768A 2019-09-19 2019-09-19 タイコグラフィ撮像システムおよび画像を生成するための方法 Active JP7478813B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2019/057901 WO2021053374A1 (en) 2019-09-19 2019-09-19 Ptychographic imaging system and method for generating images

Publications (2)

Publication Number Publication Date
JP2022548376A true JP2022548376A (ja) 2022-11-18
JP7478813B2 JP7478813B2 (ja) 2024-05-07

Family

ID=68109417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517768A Active JP7478813B2 (ja) 2019-09-19 2019-09-19 タイコグラフィ撮像システムおよび画像を生成するための方法

Country Status (5)

Country Link
US (1) US20220350123A1 (ja)
EP (1) EP4031923A1 (ja)
JP (1) JP7478813B2 (ja)
CN (1) CN114430810A (ja)
WO (1) WO2021053374A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113189A1 (de) 2021-06-29 2023-01-04 Siemens Aktiengesellschaft Syntheseverfahren zur erzeugung eines räumlich hochaufgelösten bildes
CN114509869B (zh) * 2021-12-31 2024-04-26 南京理工大学智能计算成像研究院有限公司 一种基于多半径环形照明的显微成像装置及反卷积方法
CN115032196B (zh) * 2022-08-11 2022-12-13 中国科学院西安光学精密机械研究所 一种全划片高通量彩色病理成像分析仪器及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027188A1 (en) * 2013-08-22 2015-02-26 California Institute Of Technoloby Variable-illumination fourier ptychographic imaging devices, systems, and methods
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
WO2016187591A1 (en) * 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
JP2018503059A (ja) * 2014-12-23 2018-02-01 キヤノン株式会社 照明システム及びフーリエタイコグラフィイメージングの装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US10983325B2 (en) * 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
CN106707486B (zh) * 2017-01-24 2019-07-26 清华大学 基于fpm的宽视场显微成像方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027188A1 (en) * 2013-08-22 2015-02-26 California Institute Of Technoloby Variable-illumination fourier ptychographic imaging devices, systems, and methods
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
JP2018503059A (ja) * 2014-12-23 2018-02-01 キヤノン株式会社 照明システム及びフーリエタイコグラフィイメージングの装置
WO2016187591A1 (en) * 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods

Also Published As

Publication number Publication date
EP4031923A1 (en) 2022-07-27
US20220350123A1 (en) 2022-11-03
JP7478813B2 (ja) 2024-05-07
CN114430810A (zh) 2022-05-03
WO2021053374A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11604342B2 (en) Microscopy devices, methods and systems
JP7478813B2 (ja) タイコグラフィ撮像システムおよび画像を生成するための方法
US11567175B2 (en) Apparatuses and method for light detection and ranging
US6388809B1 (en) Methods and apparatus for improved depth resolution use of out-of-focus information in microscopy
JP5718329B2 (ja) 適応光学系を有する顕微鏡検査法
JP6195830B2 (ja) 適応光学系を有する顕微鏡検査法
US8168955B2 (en) Photon event distribution sampling apparatus and method
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
CN108680544A (zh) 一种结构化照明的光切片荧光显微成像方法和装置
CN107037443A (zh) 用于基于三角测量的距离测量的方法和装置
JP2017531201A (ja) 位相コントラスト撮像
EP3032312B1 (en) Confocal scanner and confocal microscope
US10746657B2 (en) Method for accelerated high-resolution scanning microscopy
JP6955910B2 (ja) 超解像度ボア撮像システム
JP6714665B2 (ja) 光検出と測距のための装置および方法
JP2018054448A (ja) スペクトルの測定方法
KR20150059147A (ko) 렌즈의 색수차를 이용한 3차원 영상 획득 방법 및 이를 이용한 3차원 현미경
WO2018151599A1 (en) Structured illumination scanning microscopy
WO2019120502A1 (en) Method and apparatus for optical confocal imaging, using a programmable array microscope
CN1591468A (zh) 用于光学导引的方法和设备
KR102638985B1 (ko) 푸리에 타이코그래피 이미지 획득을 위한 스마트폰 및 스마트폰을 이용한 푸리에 타이코그래피 이미지 획득 방법
KR20230131829A (ko) 카메라 모듈
EP4276512A1 (en) Array of light sources, fourier ptychographic imaging system and method of performing fourier ptychography
WO2000067060A1 (en) Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
CN111721720B (zh) 一种光谱成像系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7478813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150