JP2023503742A - 画像から値を推定する装置及び方法 - Google Patents

画像から値を推定する装置及び方法 Download PDF

Info

Publication number
JP2023503742A
JP2023503742A JP2021558678A JP2021558678A JP2023503742A JP 2023503742 A JP2023503742 A JP 2023503742A JP 2021558678 A JP2021558678 A JP 2021558678A JP 2021558678 A JP2021558678 A JP 2021558678A JP 2023503742 A JP2023503742 A JP 2023503742A
Authority
JP
Japan
Prior art keywords
images
image
estimated
light
subtiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021558678A
Other languages
English (en)
Inventor
ラングロワ,ロバート
ルー,ボゥ
レン,ホンジー
ピント,ジョセフ
プリンス,サイモン
コーベット,オースティン
Original Assignee
イルミナ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イルミナ インコーポレイテッド filed Critical イルミナ インコーポレイテッド
Publication of JP2023503742A publication Critical patent/JP2023503742A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

方法を使用して、構造化照明顕微鏡(SIM)の光学系の歪みモデルを生成する。スライディングウィンドウを、複数の画像に対して移動させ、複数のサブタイルを画定する。各サブタイルは、対応する画像の一部分を表す。パラメータは、各サブタイルに対して推定される。パラメータは、変調、角度、間隔、位相オフセット、及び位相偏位からなる群から選択される2つ以上のパラメータを含む。各サブタイルと関連付けられた半値全幅(FWHM)値が推定される。歪みモデルは、所定のフォーマットで記憶された推定されたパラメータ及びFWHM値と推定された中心ウィンドウパラメータとの組み合わせに少なくとも部分的に基づいて推定される。推定された歪みモデルに少なくとも部分的に基づいて、2次元画像を生成することができる。2次元画像は、歪みが光学系内のどこで生じているかを示す表示を含むことができる。

Description

関連出願
本出願は、その開示が参照によりその全体が本明細書に組み込まれる、2019年12月6日に出願された、発明の名称が「Apparatus and Method of Estimating Values from Images」である米国仮特許出願第62/944,687号に対する優先権を主張するものである。
このセクションで説明される主題は、単にこのセクションにおける言及の結果として、先行技術であると想定されるべきではない。同様に、このセクションで言及した問題、又は背景として提供された主題に関連する問題は、先行技術において以前に認識されていると想定されるべきではない。このセクションの主題は、単に、異なるアプローチを表し、それ自体はまた、特許請求される技術の実施態様に対応し得る。
構造化照明顕微鏡法(Structured illumination microscopy、SIM)は、複数の低解像度の元画像から超解像画像を再構成するコンピュータイメージングアルゴリズムの部類である。復元を確実に成功させるために、元の生画像は高品質でなければならない。高品質の生画像は、イメージング器具の光学性能の慎重な調整、較正、及び診断を必要とする。従来のイメージング器具の特徴に加えて、SIMイメージング光学素子は、更なる特性化及び検証を必要とする追加の構成要素を有する。
SIMシステム内のイメージング光学素子及び関連する光学構成要素を用いて品質管理及び較正を促進するためのシステム及び方法、特に、ヌクレオチド配列などの生体試料を撮影するために使用されるSIMシステムを提供することが所望され得る。本明細書では、既存の課題を克服し、本明細書に記載されるような利益を得るために、SIMを使用して撮像された画像を処理するためのデバイス、システム、及び方法が記載される。
一実施態様は、光学系内の構造化照明顕微鏡(SIM)を使用して撮像された複数の画像を受信することを含む方法に関し、複数の画像の各画像は、第1の視野を有する。方法は、ウィンドウを画定することを更に含み、ウィンドウは、第2の視野が第1の視野よりも小さくなるように、第1の視野の一部分を表す第2の視野を画定することを更に含む。方法は、複数の画像の各画像に対してウィンドウを移動させることを更に含む。方法は、複数の画像の各画像に対してウィンドウを移動させながら、複数の画像の各画像から複数のサブタイルを撮像することを更に含み、複数の複数のサブタイルの各サブタイルは、複数の画像の対応する画像の一部分を表し、複数のサブタイルの各サブタイルにより表される一部分は、複数のサブタイルのうちのサブタイルが撮像される瞬間に対応する位置で、第2の視野により画定される。方法は、複数のサブタイルの各サブタイルに関連付けられたパラメータを推定することを更に含み、パラメータは、変調、角度、間隔、位相オフセット、及び位相偏位からなる群から選択される2つ以上のパラメータを含む。方法は、複数のサブタイルの各サブタイルに関連付けられた半値全幅(full width at half maximum、FWHM)値を推定することを更に含む。方法は、推定されたパラメータ及びFWHM値を所定のフォーマットで記憶することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、複数の画像は12個の画像を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像は、第1の色に関連付けられた第1の画像セット、及び第2の色に関連付けられた第2の画像セットを含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像は、第1の格子配向に関連付けられた第1の画像セット、及び第2の格子配向に関連付けられた第2の画像セットを含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、複数の画像を撮像することを更に含む。方法は、複数の画像を撮像しながら、1つ以上の位相マスクに対して、第1の位置から第2の位置に光源を移動させることを更に含み、第1の位置は第1の格子配向を提供し、第2の位置は第2の格子配向を提供する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像は、第1の位相に関連付けられた第1の画像セット、及び第2の位相に関連付けられた第2の画像セットを含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、複数の画像を撮像することを更に含む。方法は、複数の画像を撮像しながら、反射素子を第1の位置から第2の位置に移動させることを更に含み、第1の位置は第1の位相を提供し、第2の位置は第2の位相を提供する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、所定のフォーマットは表を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、表は2次元表の形態である。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、中心ウィンドウパラメータを推定することを更に含み、中心ウィンドウパラメータは、第1の視野内の中央領域に対応する。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、所定のフォーマットで記憶された、推定されたパラメータ及びFWHM値と推定された中心ウィンドウパラメータとの組み合わせに少なくとも部分的に基づいて、歪みモデルを推定することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、歪みモデルを推定することは、所定のフォーマットで記憶された推定されたパラメータ及びFWHM値から、推定された中心ウィンドウパラメータを減算することを含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、歪みモデルを推定することは、二次曲面関数を減算結果にあてはめることを含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、二次曲面関数を減算結果にあてはめることは、縮小推定量を用いることを含む。
本概要の先行する4つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、推定された歪みモデルに対する決定係数を計算することと、計算した決定係数を所定の閾値と比較することと、によって、推定された歪みモデルを検証することを更に含む。
本概要の先行する5つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、位相オフセットを推定することと、位相オフセットを推定された歪みモデルに適用することと、を更に含む。
本概要の先行する6つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、推定された歪みモデルに少なくとも部分的に基づいて2次元画像を生成することを更に含み、2次元画像は、歪みが光学系内のどこで生じているかを示す表示を含む。
本概要の先行する7つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、光学系内のSIMを使用して、後続の複数の画像を撮像することを更に含む。方法は、複数の画像に少なくとも部分的に基づいて高解像度画像を生成することを更に含み、高解像度画像を生成することは、推定された歪みモデルに少なくとも部分的に基づいて、後続の複数の画像からのデータを調整することを含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、光学系内のSIMを使用して、後続の複数の画像を撮像することを更に含む。方法は、複数の画像に少なくとも部分的に基づいて高解像度画像を生成することを更に含み、高解像度画像を生成することは、所定のフォーマットで記憶された、推定されたパラメータ及びFWHM値に少なくとも部分的に基づいて、後続の複数の画像からのデータを調整することを含む。
本概要の先行する2つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、後続の複数の画像は、ヌクレオチドの画像を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、光学系内のSIMを使用して複数の画像を撮像することを更に含み、受信した複数の画像は、撮像された複数の画像を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、複数の撮像された画像は、光学標的の画像である。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、光学標的は染料を含み、複数の画像を撮像することは、染料中の分子を励起することを含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、染料は平均発光波長を有し、染料中の分子を励起することは、励起光を染料に向けて発することを含み、励起光は、染料の平均発光波長よりも実質的に長い波長を有する。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、染料はクマリン染料を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、励起光は、少なくともおよそ520nmの波長を有する。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、青色波長にて、緑色レーザで生成した縞を観察することを更に含む。
いくつかの実施態様では、装置は、構造化照明を標的に向けて発する第1の光学アセンブリを備える。第1の光学アセンブリは、発光アセンブリと、発光アセンブリによって発せられた光に第1のパターンを付与する第1の位相マスクと、発光アセンブリによって発せられた光に第2のパターンを付与する第2の位相マスクと、第1の位相マスク及び第2の位相マスクによって構造化された光の位相を調整する位相調整アセンブリと、を含む。装置は、第2の光学アセンブリを更に備える。第2の光学アセンブリは、第1の光学アセンブリによって照明したときに、標的の画像を撮像する画像センサを含む。装置は、プロセッサを更に備える。プロセッサは、画像センサを使用して撮像した複数の画像を受信することとなり、複数の画像の各画像は、第1の視野を有する。プロセッサは更に、ウィンドウを画定することとなり、ウィンドウは、第2の視野が第1の視野よりも小さくなるように、第1の視野の一部分を表す第2の視野を画定する。プロセッサは更に、複数の画像の各画像に対してウィンドウを移動させることとなる。プロセッサは更に、複数の画像の各画像に対してウィンドウを移動させながら、複数の画像の各画像から複数のサブタイルを撮像することとなり、複数の複数のサブタイルの各サブタイルは、複数の画像の対応する画像の一部分を表し、複数のサブタイルの各サブタイルにより表される一部分は、複数のサブタイルのうちのサブタイルが撮像される瞬間に対応する位置で、第2の視野により画定される。プロセッサ更に、複数のサブタイルの各サブタイルに関連付けられたパラメータを推定することとなり、パラメータは、変調、角度、間隔、位相オフセット、及び位相偏位からなる群から選択される2つ以上のパラメータを含む。プロセッサは更に、複数のサブタイルの各サブタイルに関連付けられた半値全幅(FWHM)値を推定することとなる。プロセッサは更に、推定されたパラメータ及びFWHM値を所定のフォーマットで記憶することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、標的は、試料容器を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、標的は、試料容器内の生体試料を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、発光アセンブリは、少なくとも2つのチャネルにおいて光を発することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、少なくとも2つのチャネルは、少なくとも2つの色を含み、少なくとも2つの色の各色は、少なくとも2つのチャネルの対応するチャネルに対応している。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、第1の光学アセンブリは、格子切り替え部を更に含む。格子切り替え部は、発光アセンブリから発せられた光を第1の位相マスク又は第2の位相マスクに向けて選択的に方向付けるか、又は許容することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、格子切り替え部は、少なくとも1つの可動反射要素を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、格子切り替え部は、可動反射要素を支持する回転可能プレートを更に含む。回転可能プレートは、回転可能であることによって、第1の位相マスク又は第2の位相マスクに対して反射要素を選択的に位置付け、これによって、発光アセンブリから発せられた光を第1の位相マスク又は第2の位相マスクに向けて選択的に方向付けるか、又は許容する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、位相調整アセンブリは、可動反射要素を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、位相調整アセンブリは、可動反射要素を移動させるためのアクチュエータを更に含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、アクチュエータは、線形経路に沿って可動反射要素を移動させることとなる。
本概要の先行する2つの段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、アクチュエータは圧電素子を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、中心ウィンドウパラメータを推定することとなり、中心ウィンドウパラメータは、第1の視野内の中央領域に対応する。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、所定のフォーマットで記憶された推定されたパラメータ及びFWHM値と推定された中心ウィンドウパラメータとの組み合わせに少なくとも部分的に基づいて、歪みモデルを推定することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、所定のフォーマットで記憶された推定されたパラメータ及びFWHM値から、推定された中心ウィンドウパラメータを減算することを含むことにより、歪みモデルを推定することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、二次曲面関数を減算結果にあてはめることにより、歪みモードを推定することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、縮小推定量を用いることを含む、二次曲面関数を減算結果にあてはめることにより、歪みモードを推定することとなる。
本概要の先行する4つの段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、推定された歪みモデルに対する決定係数を計算することと、計算した決定係数を所定の閾値と比較することと、により、歪みモデルを検証することとなる。
本概要の先行する5つの段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、位相オフセットを推定し、位相オフセットを推定された歪みモデルに適用することとなる。
本概要の先行する6つの段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、推定された歪みモデルに少なくとも部分的に基づいて2次元画像を生成することとなり、2次元画像は、歪みが光学系内のどこで生じているかを示す表示を含む。
本概要の先行する6つの段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、光学系内のSIMを使用して、後続の複数の画像を撮像し、複数の画像に少なくとも部分的に基づいて高解像度画像を生成することとなる。高解像度画像を生成することは、推定された歪みモデルに少なくとも部分的に基づいて、後続の複数の画像からのデータを調整することを含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、光学系内のSIMを使用して後続の複数の画像を撮像し、複数の画像に少なくとも部分的に基づいて高解像度画像を生成することとなる。高解像度画像を生成することは、所定のフォーマットで記憶された、推定されたパラメータ及びFWHM値に少なくとも部分的に基づいて、後続の複数の画像からのデータを調整することを含む。
いくつかの実施態様において、方法は、光学系内の構造化照明顕微鏡(SIM)を使用して、複数の画像を撮像することを含む。複数の撮像された画像は、光学標的の画像である。光学標的は、染料を含む。複数の画像を撮像することは、染料中の分子を励起することを含む。染料は、平均発光波長を有する。染料中の分子を励起することは、励起光を染料に向けて発することを含む。励起光は、染料の平均発光波長よりも実質的に長い波長を有する。方法は、複数の画像において縞を観察することを更に含む。観察された縞は、第1の色に関連付けられた第1の波長におけるものである。観察された縞は、第2の色に付けられた第2の波長において光を発する光源により生成されている。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、染料はクマリン染料を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、励起光は、少なくともおよそ520nmの波長を有する。
本概要の先行する3つの段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、第1の色は青であり、第2の色は緑である。
いくつかの実施態様では、プロセッサ可読媒体は、本概要の先行する段落のいずれかに記載されている方法のうちの任意の1つ以上の方法を実行することによって、コンピューティングシステムにデータを処理させるように構成されているコンテンツを含む。
本明細書でより詳細に考察される前述の概念及び追加の概念の全ての組み合わせが(かかる概念が相互に矛盾しないならば)、本明細書に開示される発明の主題の一部と考えられ、本明細書に記載される便益及び利点を実現すると考えられることを理解されたい。具体的には、本開示の終わりに現れる特許請求される主題のすべての組み合わせは、本明細書に開示される発明の主題の一部であると考えられる。
1つ以上の実施態様の詳細が、添付の図面及び以下の説明に記載される。他の特徴、態様、及び利点は、本明細書、図面、及び特許請求の範囲から明らかになるであろう。
1次元(one-dimensional、1D)変調を伴う格子を使用することによるモアレ縞形成の一例を示す図である。
2次元(two-dimensional、2D)構造化照明パターンによって生成された照明強度のグラフ的表示である。
ナノウェル配列の幾何学的パターンの例を示す図である。
空間的に構造化された励起光を利用して、試料を撮像することができるSIM生体試料イメージングシステムの概略図である。
図2のSIM生体試料イメージングシステムでの使用のための代替的な光学アセンブリの一例の概略図である。
図3の光学アセンブリの位相マスクアセンブリの概略図である。
第1の状態の格子切り替え部及び第1の状態の調整可能な反射要素を有する、図3の光学アセンブリの概略図である。
第1の状態の格子切り替え部及び第2の状態の調整可能な反射要素を有する、図3の光学アセンブリの概略図である。
第2の状態の格子切り替え部及び第1の状態の調整可能な反射要素を有する、図3の光学アセンブリの概略図である。
第2の状態の格子切り替え部及び第1の状態の調整可能な反射要素を有する、図3の光学アセンブリの概略図である。
拡大レンズの歪みに起因して屈曲する平行線の簡略図である。
名目上平行線間の間隔の波長に対してなされた第1のセットの測定値を示すチャートである。
名目上平行線間の間隔の波長に対してなされた第2のセットの測定値を示すチャートである。
全視野(field of view、FOV)画像のサブタイル又はサブフィールドの例を示す図である。
SIMイメージングで歪みモデルを生成及び適用するためのプロセスの一例のフローチャートである。
画像を横切るスライディングウィンドウの概略図である。 画像を横切るスライディングウィンドウの概略図である。 画像を横切るスライディングウィンドウの概略図である。
歪みモデルを推定するためのプロセスの一例を示すフローチャートである。
反ストークス発光の概略図である。
図の一部又は全ては、例示の目的のための概略図であることが認識されるであろう。図面は、特許請求の範囲の範囲又は意味を制限するために使用されないことを明確に理解した上で、1つ以上の実施態様を例示する目的で提供される。
いくつかの態様では、本明細書では、SIMシステム、特に、ヌクレオチド配列などの生体試料を撮影するために使用されるSIMシステム内のイメージング光学素子及び関連する光学構成要素を用いた品質管理及び較正を促進するための方法及びシステムが開示される。
ヌクレオチド配列などの生体試料を撮影する文脈において、SIMは、数百万もの試料点からの蛍光信号を有するフローセルから、密に充填された試料を分解する能力を提供し、それによって、処理に必要な試薬を低減し、画像処理スループットを増大させることができる。場合によっては、SIMは、隣接する光源を分解するためのアッベ回折限界よりも密に充填されている蛍光試料の解像を可能にし得る。生体試料は、フローセル上の規則的に間隔を空けたナノウェル内にあってもよく、又はランダムに分布したクラスタ内にあってもよい。隣接するナノウェルは、関連する光学系のアッベ回折限界よりも近接して位置付けられてもよい。本実施例は、フローセルのナノウェル上の生体試料に関する一方、本明細書の教示は、様々な他の構成の生体試料、及びSIMを用いる他の種類のシステムにおける生体試料に適用されてもよい。したがって、本明細書の教示は、生体試料の撮影に必ずしも限定されない。
I.序論
構造化照明は、通常の照明による場合の数倍の分解された照明源を有する画像を生成することができる。構造化照明の角度及び位相変位を変化させた複数の画像を使用して、密集した、言い換えれば、分解不能な高域空間周波数特徴部を、アッベ回折限界に違反することなく光学系によって感知され得る低周波数信号に変換する。この限界は、光及び光学の性質によってイメージングに物理的に課され、最終対物レンズの放射波長と開口数(numerical aperture、NA)との関数として表される。SIM再構成を適用することにより、複数の画像からの情報が空間領域からフーリエ領域に変換され、組み合わされ、処理され、次いで、改善された画像に再構成される。SIMシステム及び方法で処理されるより低解像度の元画像のセットは、「SIMスタック」として定義され得る。それぞれのSIMスタックにおける画像は、撮影された素材に対して、対応するz位置又は距離に位置する対物レンズにより取得され得る。同じ素材からいくつかのSIMスタックを取得することができ、それぞれのSIMスタックは、同じ素材の他のSIMスタックのz位置とは異なるz位置を有する。
SIMでは、格子が使用されるか、又は照明源と試料との間に干渉パターンが生成されて、正弦関数又は余弦関数に従って強度が変化するパターンなどの照明パターンを生成する。SIMの文脈では、「格子」は、構造化照明パターンを生成する表面に加えて、投影された構造化照明パターンを指すために使用される場合がある。あるいは、構造化照明パターンは、分離コヒーレントビームの部分間の干渉パターンとして生成されてもよい。
例えば、図1に示されるような試料平面上への構造化照明の投影は、試料中の蛍光(又は反射)源と照明パターンを混合して、モアレ縞又はエイリアシングと呼ばれる場合がある新たな信号を誘導する。新しい信号は、高域空間周波数情報を、アッベ回折限界に違反することなく撮像され得るより低域空間周波数にシフトさせる。
図1Aに示すような1D強度変調パターン、又は図1Bに示すような2D強度変調パターンで照射された試料の画像を撮像後、モアレ縞又はエイリアシングの複数の画像から、より高域空間周波数からより低域空間周波数にシフトされた情報を含有する新たな信号の一部分を抽出するために、連立一次方程式が解かれ、使用される。
連立一次方程式を解くために、段階的にシフト又は変位された構造化照明パターンを用いて、いくつかの画像が撮像される。角度ごとの様々な位相の画像が、分析のために撮像され、次いでフーリエ領域のシフト及び再結合のために帯域によって分離され得る。画像の数を増やすと、信号対雑音比を高めることによって、再構成された画像の品質を向上させることができる。しかしながら、計算時間もまた増加する場合がある。帯域分離された画像のフーリエ表示をシフトさせ、合計して、再構成和を生成する。最終的に、逆高速フーリエ変換(Fast Fourier Transform、FFT)が、再構成和から新しい高解像度画像を再構成する。
1D変調された照明の標準アルゴリズムは、2D変調された照明パターンと共に使用される場合、修正を伴い得る。これは、2D帯域分離を伴うことができる照明ピークの間隔及び照明ピーク角度の推定を含み得る。修正はまた、2次元の位相を推定するために、(1つの点ではなく)2つの点から作用するWicker位相推定も含み得る。1D干渉パターンは、図1Aに示すような1次元回折格子によって、又は2つのビームの干渉パターンの結果として生成されてもよい。場合によっては、試料の撮影中、試料の縞パターンの3つの画像が、様々なパターン相(例えば、0°、120°、及び240°)で取得され、その結果、試料上のそれぞれの場所がある照明強度の範囲にさらされる。この手順は、光軸を中心にパターン配向を2つ(例えば、45°、135°)又は3つ(例えば、0°、60°及び120°)の別個の角度に回転させることによって繰り返される。
図1Bは、2D回折格子によって、又は二対のコヒーレント光ビームの干渉によって生成され得る強度分布を示す。具体的には、2D構造化照明は、互いに重ね合わされた2つの直交する1D回折格子によって形成されてもよい。1D構造化照明パターンの場合と同様に、2D照明パターンは、2D回折格子の使用、又は規則的に反復する縞パターンを生成する二対のコヒーレント光ビーム間の干渉のいずれか一方によって生成され得る。2つの光ビームは、y軸に沿う強度パターン(水平輝線及び暗線)を生成し、それ故に、y対の入射ビームと称される。2つのより多くの光ビームは、x軸に沿う強度パターン(垂直輝線及び暗線)を生成し、x対の入射ビームと称される。y対の、x対の光ビームへの干渉は、2D照明パターンを生成する。図1Bは、このような2D照明パターンの強度分布を示す。
図1Cは、矩形の角部に位置付けられたフローセルの表面におけるナノウェル10の配置を示す。図1Cはまた、ナノウェル10上に投影された構造化照明の縞パターンの線20を示す。図示される例では、線20は、ナノウェル10のアライメントに対してわずかに角度的にオフセットされており、その結果、線20は、ナノウェル10の行ともナノウェル10の列とも完全に位置合わせされていない(又は平行ではない)。あるいは、線20は、ナノウェル10の列若しくは行のアライメントと、又はナノウェル10の他の空間的配置と任意の他の好適な空間的関係を有してもよい。1D構造化照明を使用するとき、照明のピーク角度は、画像が矩形の対角線方向に対向する角部を接続する直線に沿って撮影されるように選択される。例えば、3個の画像の2個のセット(合計6つの画像)を、+45度及び-45度の角度で撮影することができる。対角線に沿う距離が矩形の任意の2つの辺の間の距離よりも長くなるにつれて、より高い解像度画像が得られる。ナノウェル10は、六角形などの他の幾何学的配置に配置されてもよい。次いで、3個以上の画像を六角形の3個の対角線のそれぞれに沿って撮影することができ、例えば、9個又は15個の画像が得られる。
II.用語
構造化照明パラメータについて言及するために本明細書で使用する際、用語「周波数」は、周波数及び周期が逆相関するため、構造化照明パターン(例えば、縞パターン又は格子パターン)の縞と縞との間、又は線と線との間の間隔の逆数を指すものとする。例えば、縞と縞との間の間隔がより大きいパターンは、縞と縞との間の間隔がより小さいパターンよりも低い周波数を有することとなる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「位相」は、試料を照明する構造化照明パターンの位相を指すものとする。例えば、照明された試料に対して構造化照明パターンを並進移動させることによって、位相を変更することができる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「配向」は、構造化照明パターン(例えば、縞パターン又は格子パターン)とパターンによって照明される試料との間の相対的な配向を指すものとする。例えば、照明された試料に対して構造化照明パターンを回転させることによって、配向を変更することができる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「予測する」又は「予測している」は、(i)パラメータを直接測定することなくパラメータの(複数の)値を算出するか、又は(ii)パラメータに対応する撮像画像からパラメータを推定するかのいずれか一方を意味するものとする。例えば、構造化照明パターンの位相は、時間t2及び時間t3において(例えば、撮像された位相画像から)直接測定又は推定された位相値間の補間によって、時間t1において予測され得る(t2<t1<t3)。別の例として、構造化照明パターンの周波数は、時間t2及び時間t3において、(例えば、撮像された位相画像から)直接測定又は推定された周波数値から外挿することによって、時間t1において予測され得る(t2<t1<t3)。
回折格子によって回折された光について言及するために本明細書で使用する際、用語「次」又は「次数」は、強め合いの干渉に対する回折格子の隣接するスリット又は構造からの光の経路長差を表す整数の波長の数を意味するものとする。反復する一連の格子構造又は他のビーム分割構造上の入射光ビームの相互作用は、光ビームの一部分を元のビームから予測可能な角度方向に再方向付けるか又は回折することができる。用語「0次」又は「0次最大」は、回折格子によって発せられた回折のない中央の明るい縞を指すものとする。用語「1次」は、経路長差が±1波長である、0次の縞の両側に回折される2つの明るい縞を指すものとする。より高次の次数は、元のビームからより大きい角度に回折される。格子の特性は、様々な次数に方向付けられるビーム強度の大きさを制御するように操作され得る。例えば、位相格子は、非0次の送信を最大化し、0次ビームの送信を最小化するように作製されてもよい。
本明細書で使用する際、用語「光学伝達関数」、又は省略形「OTF」は、空間周波数の関数としてのイメージングシステムの応答を説明する複素数値伝達関数を意味するものとする。OTFは、点広がり関数のフーリエ変換から導出することができる。本明細書に記載された例では、OTFの振幅部分のみが重要である。OTFの振幅部分は、「変調伝達関数」と称されてもよく、又は省略形「MTF」と称されてもよい。
試料について言及するために本明細書で使用する際、用語「特徴」は、相対場所に従って他の点又は他のエリアと区別することができるパターンの点又はエリアを意味するものとする。個々の特徴は、特定の種類の1つ以上の分子を含むことができる。例えば、特徴は、特定の配列を有する単一の標的核酸分子を含むことができ、あるいは特徴は、同一の配列(及び/又はその相補的配列)を有するいくつかの核酸分子を含むことができる。
本明細書で使用する際、用語「xy平面」は、デカルト座標系における直線軸x及びyによって定義される2次元エリアを意味するものとする。検出器及び検出器によって観察される物体に関連して使用される場合、ビーム軸、又は検出器と検出されている物体との間の観測方向に直交しているとしてエリアを更に指定することができる。
本明細書で使用する際、用語「z座標」は、デカルト座標系におけるxy平面に直交する軸線に沿う点、線、又はエリアの場所を特定する情報を意味するものとする。特定の別の実施態様では、z軸は、検出器によって観察される物体の領域に直交する。例えば、光学系の焦点の方向は、z軸に沿って指定されてもよい。
本明細書で使用する際、用語「光学的に結合された」は、別の要素に直接的に又は間接的に光を付与するように適合されている1つの要素を指すものとする。
本明細書で使用する際、単数形で記載され、かつ単語「a」又は「an」に続く要素又は工程は、かかる除外が明示的に記載されていない限り、複数のこれらの要素又は工程を除外しないものとして理解されるべきである。更に、「1つの実施態様」への言及は、また記載された特徴を組み込む追加の実施態様の存在を除外するものとして解釈されることを意図するものではない。更に、反対に明示的に述べられていない限り、特定の特性を有する要素又は複数の要素を「含む」又は「有する」実施態様は、それらがその特性を有するかどうかにかかわらず、追加の要素を含み得る。
本明細書全体を通して使用される用語「実質的に」、「約」、及び「およそ」は、処理のばらつきなどによる小さな変動を説明及び考慮するために使用される。例えば、それらの用語は、±5%以下を、±2%以下など、±1%以下など、±0.5%以下など、±0.2%以下など、±0.1%以下など、±0.05%以下などとして称することができる。
用語「基づいて」は、「基づいて」いるとして示されているものによって少なくとも部分的に何かが決定されることを意味すると理解されるべきである。何かが何か他のものによって必ずしも完全に決定されなければならないことを示すために、それが完全に決定されるいかなるものに排他的に基づいているとして記載されている。
本明細書で使用する際、用語「ヌクレオチド配列」又は「ポリヌクレオチド配列」は、文脈に応じて、ポリヌクレオチド分子、並びに分子の下にある配列を含むように読み取られるべきである。ポリヌクレオチドの配列は、特定の物理的特性を示す情報を含有する(又はコードする)ことができる。
III.イメージングシステムの構成要素及び配置の例
SIMシステムのいくつかの実施態様では、線形偏光ビームは、ビームを2つ以上の別個の次数に分割する光学ビームスプリッタによって方向付けられ、2つ以上の別個の次数は、合成され、正弦波強度変動を有する干渉縞パターンとして、撮影された試料上に投影され得る。分割されたビームは、試料平面における最大変調を得るためにパワーが均等である。回折格子は、高度の干渉性及び安定した伝搬角度を有するビームを生成することができるビームスプリッタの例である。2つのかかるビームが組み合わされると、かかるビーム間の干渉は、干渉ビーム間の角度を含む因子によって間隔が決定される均一な規則的な反復縞パターンを作り出すことができる。縞の周期性(fringe periodicity、FP)と入射角(θ)と光の波長(λ)との間の関係は、以下の式(I)で表すことができる。
Figure 2023503742000002
縞の周期(FP)及び光の波長(λ)は、同じ単位(例えば、nm)であり、θは、ラジアンで表される面法線に対する入射角である。
図2~図4Bは、SIMイメージングシステムが取り得る様々な形態の例を示す。これらのシステムは、主に、1D照明パターンを生成するSIMイメージングシステムとの関連で説明されているが、本明細書に開示された技術は、より高次元の照明パターン(例えば、2次元格子パターン)を生成するSIMイメージングシステムが実装されてもよいことに留意されたい。
図2は、本明細書に記載されるいくつかの実施態様による、構造化照明パラメータの予測を実装することができるSIMイメージングシステム100を示す。例えば、システム100は、空間的に構造化された励起光を利用して生体試料を撮影する構造化照明蛍光顕微鏡システムであってもよい。
図2の例では、発光体150は、コリメーションレンズ151によってコリメートされた光ビームを出力するように構成されている。コリメートされた光は、光構造化光学アセンブリ155によって構造化(パターン化)され、対物レンズ142を介してダイクロイックミラー160によって、移動ステージ170上に位置付けられている試料容器110の試料に方向付けられる。蛍光試料の場合、試料は構造化励起光に応答して蛍光を発し、得られた光は、対物レンズ142によって収集され、蛍光を検出するためにカメラシステム140の画像センサに向けられる。
光構造化光学アセンブリ155は、試料容器110の試料に投影される光のパターン(例えば、縞、典型的には正弦波)を生成するための1つ以上の光回折格子又は他のビーム分割要素(例えば、ビームスプリッタキューブ又はプレート)を含む。回折格子は、1次元透過型格子若しくは1次元反射型格子又は2次元透過型格子若しくは2次元反射型格子であってもよい。回折格子は、正弦波振幅格子又は正弦波位相格子であってもよい。いくつかの変形例では、光構造化光学アセンブリ155は、一対の位相マスクを含み、それぞれの位相マスクは、ガラスにエッチングされた目盛りを有するガラス片を含む。
いくつかの実施態様では、(複数の)回折格子は、構造化照明パターンの配向を変更するための回転ステージを利用しなくてもよい。他の実施態様では、(複数の)回折格子は、回転ステージに取り付けられてもよい。いくつかの実施態様では、回折格子は、イメージングシステムの動作中に固定されてもよい(すなわち、回転運動又は線形運動を必要としない)。例えば、以下に更に記載される特定の実施態様では、回折格子は、互いに垂直に配向された2つの固定された1次元透過回折格子(例えば、水平回折格子及び垂直回折格子)を含んでもよい。
図2の例に示されるように、光構造化光学アセンブリ155は、0次を含む全ての他の次数を遮断又は最小化しながら、1次の回折光ビームを出力する。しかしながら、代替的な実施態様では、更なる次数の光を試料に投影することができる。
それぞれの撮影周期中、イメージングシステム100は、光構造化光学アセンブリ155を利用して、様々な位相で複数の画像を取得し、縞パターンは、変調方向に横方向に(例えば、x-y平面内で、かつ縞に対して垂直に)変位される。この手順は、光軸を中心に(すなわち、試料のx-y平面に対して)パターン配向を回転させることによって、1回以上繰り返される。次いで、撮像された画像をコンピュータ的に再構成して、より高い解像度画像(例えば、個々の画像の横方向空間分解能の約2倍を有する画像)を生成し得る。
システム100では、発光体150は、非コヒーレント発光体(例えば、1つ以上の励起ダイオードによって出力された光ビームを発する)、又は1つ以上のレーザ若しくはレーザーダイオードによって出力される光のエミッタなどのコヒーレント発光体であってもよい。システム100の例において示されるように、発光体150は、出力される光学ビームを案内するための光ファイバ152を含む。しかしながら、発光体150の他の構成が使用されてもよい。マルチチャネルイメージングシステム(例えば、光の複数の波長を利用するマルチチャネル蛍光顕微鏡)において構造化照明を利用する実施態様では、光ファイバ152は、複数の異なる光源(図示せず)に光学的に結合することができ、各光源は様々な波長の光を発する。システム100は、いくつかの実施態様では、単一の発光体150を有するものとして図示されているが、複数の発光体150を備えてもよい。例えば、複数の発光体は、以下で更に説明する複数のアームを利用する構造化照明イメージングシステムの場合に備えられてもよい。
いくつかの実施態様では、システム100は、構造化ビームの形状及び経路を調整するために、z軸に沿って関節運動するレンズ素子を含んでもよい投影レンズ156を含んでもよい。例えば、投影レンズ156の構成要素は、容器110内の試料の試料の厚さの範囲(例えば、様々なカバーガラスの厚さ)を考慮するように関節運動してもよい。
システム100の例では、流体送達モジュール又はデバイス190は、試薬の流れ(例えば、蛍光標識されたヌクレオチド、緩衝剤、酵素、開裂試薬など)を試料容器110及び廃棄物バルブ120に向けることができ(、かつ通過させることができ)る。試料容器110は、試料が上に提供される1つ以上の基材を含んでもよい。例えば、多数の様々な核酸配列を分析するためのシステムの場合、試料容器110は、配列決定される核酸が上で結合、付着、又は会合する1つ以上の基材を含んでもよい。基材としては、例えば、ガラス表面、プラスチック表面、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルアミドゲル、金表面、及びシリコンウェハなどの、核酸が付着され得る任意の不活性基材又は基質が挙げられ得る。いくつかの用途では、基材は、試料容器110にわたってマトリックス又はアレイに形成された複数の場所におけるチャネル内又は他のエリア内にある。システム100はまた、試料容器110内の流体の状態の温度を任意に調節し得る温度ステーションアクチュエータ130及び加熱器/冷却器135を備えてもよい。
特定の実施態様では、試料容器110は、透明カバープレート、基材、及び透明カバープレートと基材との間に収容された液体を含むパターン化フローセルとして実装されてもよく、生体試料は、透明カバープレートの内側表面又は基材の内側表面に位置してもよい。フローセルは、多数(例えば、何千個、何百万個、若しくは何十億個)の(ナノウェルとも称される)ウェル、又は基材内に、画定されたアレイ(例えば、六角形アレイ、矩形アレイなど)にパターン化されている領域を含んでもよい。各領域は、例えば、合成による配列決定を使用して配列決定され得るDNA、RNA、又は別のゲノム材料などの生体試料のクラスタ(例えば、モノクローナルクラスタ)を形成してもよい。フローセルは、多数の離間したレーン(例えば、8つのレーン)に更に分割されてもよく、各レーンは、クラスタの六角形アレイを含む。
試料容器110は、対物レンズ142に対する試料容器110の移動及び位置合わせを提供するように、試料ステージ170に取り付けられてもよい。試料ステージは、3次元のいずれかで移動することを可能にする1つ以上のアクチュエータを有してもよい。例えば、デカルト座標系の観点から、ステージが対物レンズに対してx方向、y方向、及びz方向に移動することを可能にするアクチュエータが提供されてもよい。これにより、試料容器110上の1つ以上の試料の場所が対物レンズ142と光学的に位置合わせされて位置付けられることを可能にし得る。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物レンズ、イメージングシステムのいくつかの他の構成要素、又は前述の任意の組み合わせを移動させることによって達成され得る。更なる実施態様はまた、静止試料の上でイメージングシステム全体を移動させることを含んでもよい。あるいは、試料容器110は、撮影中に固定されてもよい。
いくつかの実施態様では、(典型的にはz軸又はz方向と称される)焦点方向における試料容器110に対する光学構成要素の位置決めを制御するように、フォーカス(z軸)構成要素175が含まれてもよい。フォーカス構成要素175は、光学ステージ若しくは試料ステージ又はその両方に物理的に連結された1つ以上のアクチュエータを含んで、光学構成要素(例えば、対物レンズ142)に対して試料ステージ170上の試料容器110を移動させて、撮影動作のための適切な焦点合わせを提供することができる。例えば、アクチュエータは、例えば、ステージとの直接的又は間接的な、機械的接続、磁気的接続、流体的接続、若しくは他の接続又は接触によって、それぞれのステージに物理的に連結されてもよい。1つ以上のアクチュエータは、試料ステージを同一の平面内に維持しながら(例えば、光軸に垂直なレベル又は水平姿勢を維持しながら)、z方向にステージを移動させるように構成されてもよい。1つ以上のアクチュエータはまた、ステージを傾けるように構成されてもよい。これは、例えば、試料容器110が、表面における任意の傾斜を考慮するように動的に平坦化され得るようになされる。
撮影されている試料の場所における試験試料から生じる構造化された光は、ダイクロイックミラー160によってカメラシステム140の1つ以上の検出器に向けられ得る。いくつかの実施態様では、1つ以上の発光フィルタを有するフィルタ切り替えアセンブリ165が含まれてもよく、1つ以上の発光フィルタを使用して、特定の発光波長を通過させ、他の発光波長を遮断(又は反射)することができる。例えば、1つ以上の発光フィルタを使用して、イメージングシステムの異なるチャネル間を切り替えることができる。特定の実施態様では、発光フィルタは、様々な波長の発光をカメラシステム140の様々な画像センサに方向付けるダイクロイックミラーとして実装されてもよい。
カメラシステム140は、試料容器110の撮影(例えば、配列決定)を監視及び追跡するための1つ以上の画像センサを含んでもよい。カメラシステム140は、例えば、電荷結合素子(charge-coupled device、CCD)画像センサカメラとして実装されてもよいが、他の画像センサ技術(例えば、アクティブピクセルセンサ)が使用されてもよい。カメラシステム140及び関連する光学構成要素は、図2の試料容器110の上方に位置付けられるものとして示されているが、1つ以上の画像センサ又は他のカメラ構成要素は、本明細書の教示を考慮することで当業者には明らかとなるであろう多数の他の方法でシステム100に組み込まれてもよい。例えば、1つ以上の画像センサは、試料容器110の下に位置付けられてもよく、又は試料容器110内に一体化されてもよい。
カメラシステム140からの出力データ(例えば、画像)は、ソフトウェアアプリケーションとして実装され得るリアルタイムSIMイメージング部品191に伝達されてもよく、このソフトウェアアプリケーションは、以下で更に説明するように、各撮影周期に撮像された画像を再構成して、より高い空間分解能を有する画像を生成することができる。再構成された画像は、経時的に予測される構造照明パラメータの変化を考慮することができる。加えて、SIMイメージング部品191を使用して、予測SIMパラメータを追跡し、かつ/又は以前の推定及び/若しくは予測SIMパラメータを与えたSIMパラメータを予測することができる。
コントローラ195は、システム100の多様な光学構成要素を同期させることを含む、構造化照明イメージングシステム100の動作を制御するために提供され得る。コントローラを実装して、例えば、光構造化光学アセンブリ155の構成(例えば、回折格子の選択及び/又は線形並進)、投影レンズ156の動き、フォーカス構成要素175の作動、ステージの移動、及び撮影操作などのシステム動作の態様を制御することができる。コントローラを実装して、システム100のハードウェア要素を制御して、経時的な構造化照明パラメータの変化を補正することもできる。例えば、コントローラは、光構造化光学アセンブリ155、移動ステージ170、又はシステム100のいくつかの他の要素の構成を制御するモータ又は他のデバイスに制御信号を送信して、経時的な構造化照明の位相、周波数、及び/又は配向の変化を補正又は補償するように構成されてもよい。実施態様では、これらの信号は、SIMイメージング部品191を使用して予測される構造化照明パラメータに従って送信され得る。いくつかの実施態様では、コントローラ195は、様々な時間及び/又は試料位置に対応する、予測及び又は推定された構造化照明パラメータを記憶するためのメモリを含み得る。
様々な実施態様では、コントローラ195は、ハードウェア、アルゴリズム(例えば、機械実行可能命令)、又は前述の組み合わせを使用して実装されてもよい。例えば、いくつかの実施態様では、コントローラは、1つ以上のCPU、GPU、又は関連するメモリを有するプロセッサを含み得る。別の例として、コントローラは、コンピュータプロセッサ及び機械可読命令を記憶する非一時的コンピュータ可読媒体などの動作を制御するためのハードウェア又は他の回路構成を備えてもよい。例えば、この回路構成は、以下:フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)、特定用途向け集積回路(application specific integrated circuit、ASIC)、プログラマブル論理デバイス(programmable logic device、PLD)、複合プログラマブル論理デバイス(complex programmable logic device、CPLD)、プログラマブル論理アレイ(programmable logic array、PLA)、プログラマブルアレイ論理(programmable array logic、PAL)、及び他の同様の処理デバイス又は回路構成のうちの1つ以上を含んでもよい。更に別の例として、コントローラは、この回路構成と1つ以上のプロセッサとの組み合わせを含んでもよい。
図3は、(例えば、光学アセンブリ155の代わりに)システムに組み込むことができる代替的な光学アセンブリ200の例を示す。本例の光学アセンブリ200は、発光アセンブリ210と、固定反射要素220と、位相マスクアセンブリ230と、格子切り替え部250と、調整可能な反射要素270と、投影レンズアセンブリ280と、を含む。発光アセンブリ210は、コヒーレント光源(例えば、少なくとも1つのレーザなど)及び一対のアナモフィックプリズム、非コヒーレント光源及びコリメータ、又は本明細書の教示を考慮することで当業者には明らかとなるであろう任意の他の好適な構成要素が挙げられるが、これらに限定されない多様な構成要素を含み得る。いくつかの変形例では、発光アセンブリ210は、2つ以上の別個のチャネル(例えば、青色チャネル及び緑色チャネル)を介して光を発するように動作可能である。2つ以上の別個のチャネルで光が発せられる変形例では、システム100は、それぞれの画像センサが対応する画像センサに特化するように、2つ以上の対応する画像センサを含み得る。また、いくつかの変形例では、発光アセンブリ210は、(例えば、高速シャッタなどを使用して)所定の周波数でパルスで光を発するように動作可能である。
本実施例の反射要素220は、光学アセンブリ200の他の構成要素に対して位置が固定されたミラーを含む。以下により詳細に記載されるように、反射要素220は、光学アセンブリ200の動作中に、発光アセンブリ210から発せられた光を位相マスクアセンブリ230及び格子切り替え部250に向けて反射するように位置付けられ、構成されている。
図4で最も良く分かるように、本実施例の位相マスクアセンブリ230は、ベース240に固定的に取り付けられた一対の三角形のガラス要素232、242を含む。それぞれのガラス要素232、242は、ガラス要素232、242の1つの側に沿う反射体234、244を含む。それぞれのガラス要素232、242はまた、ガラス要素232、242の別の側に沿う位相マスク236、246を含む。本実施例では、それぞれの位相マスク236、246は、ガラス要素232、242のガラスにエッチングされた格子又は縞パターンを形成する目盛(例えば、平行スリット又は溝など)を含む。目盛間隔は、好適な角度で光を回折するように選択され、システム100の操作のために撮影された試料の最小解像可能フィーチャサイズに調整されてもよい。以下により詳細に記載されるように、これらの位相マスク236、246は、光学アセンブリ200の動作中にモアレ縞又エイリアシングを生成するように構成されている。本実施例では、位相マスク236、246は、ガラス要素232、242のガラス内のエッチングされた目盛によって形成されるが、位相マスク236、246が形成され得る他の好適な方法が、本明細書の教示を考慮することで当業者には明らかとなろう。光学アセンブリ200の動作中、位相マスクアセンブリ230全体は、光学アセンブリ200の他の構成要素に対して静止したままである。
システムの効率を改善するために、各位相マスク236、246によって出力される0次ビーム及び他の全ての高次の回折ビームは、阻止されてもよい(すなわち、試料110に投影された照明パターンからフィルタによって除去されてもよい)。例えば、次数フィルタなどのビーム遮断要素(図示せず)が、位相マスクアセンブリ230の後の光路に挿入されてもよい。いくつかの実施態様では、回折格子位相マスク236、246は、ビームを1次のみに回折するように構成されてもよく、0次(非回折ビーム)は、いくつかのビーム遮断要素によって遮断されてもよい。
図3に示すように、本実施例の格子切り替え部250は、シャフト254に取り付けられたプレート252を含む。シャフト254は、シャフト254及びプレート252を軸線Aを中心に回転させるように動作可能なモータ256と更に連結されており、プレート252の一端260は、一対のミラー262、264を含み、それぞれのミラー262、264はプレート252の反対側に取り付けられている。プレート252の他端266は、後述するように光が通過することを可能にする開口部268を画定する。いくつかの変形例では、モータ256はステッピングモータである。あるいは、モータ256は、任意の他の好適な形態をとることができ、モータ256は、任意の他の好適な回転運動供給源で置換されてもよい。図5A~図5Dに示されるように、以下により詳細に記載されるように、モータ256を作動させて、軸線Aを中心にシャフト254及びプレート252を回転させることによって、第1の状態(図5A~図5B)と第2の状態(図5C~図5D)との間で格子切り替え部250を移行させることができる。格子切り替え部250が第1の状態にあるとき、格子切り替え部250及び位相マスクアセンブリ230は、第1の格子角度を提供することができる。格子切り替え部250が第2の状態にあるとき、格子切り替え部250及び位相マスクアセンブリ230は、第2の格子角度を提供することができる。
図3にも示されるように、本実施例の調整可能な反射要素270は、アクチュエータ272が線形経路LP1に沿って反射要素270を駆動するように動作可能であるように、アクチュエータ272と連結されているミラーを含む。この実施例では、線形経路LP1は、軸線Aと平行である。いくつかの変形例では、アクチュエータ272は、圧電素子を含む。別の例として、アクチュエータ272は、ソレノイドを含んでもよい。いくつかの他の変形例では、アクチュエータ272は、回転運動を線形運動に変換するように動作可能な機械的アセンブリ(例えば、ラック及びピニオン又はウォームギア及びナットなど)と連結されているステッピングモータ又は他の回転駆動源を含む。以下でより詳細に記載されるように、アクチュエータ272が線形経路LP1に沿って反射要素270の位置を変更すると、アクチュエータ272及び反射要素270は、光学アセンブリ200を通って伝達される光に位相変調を提供するように共に動作可能である。換言すれば、アクチュエータ272及び反射要素270は共に位相調整アセンブリを提供することができる。
例として、アクチュエータ272は、以下により詳細に記載されるように、アクチュエータ272の動作中、およそ5μmの可動域にわたって反射要素270を駆動するように動作可能であってもよく、この動作により、およそ240度の縞の移動をもたらし得る。あるいは、アクチュエータ272は、アクチュエータ272の動作中に、およそ2μm~およそ10μmの範囲の可動域にわたって反射要素270を駆動するように動作可能であってもよい。以下により詳細に記載されるように、アクチュエータ272は、線形経路に沿う可動域にわたって2つ、3つ、又はそれ以上の様々な位置で反射要素の動きを停止させるように駆動されてもよい。
投影レンズアセンブリ280は、本明細書の教示を考慮することで当業者には明らかとなるように、1つ以上のレンズ素子(例えば、チューブレンズ)及び様々な他の構成要素を含んでもよい。投影レンズアセンブリ280を通過した光は、最終的に、試料容器110(例えば、フローセルなど)に到達することができる。場合によっては、これは、試料容器110内の生体材料を蛍光発光させることができ、そのような蛍光は、生体材料の分析を可能にする画像センサ(例えば、カメラシステム140の画像センサ)によって撮影される。本実施例の投影レンズアセンブリ280は、投影レンズアセンブリ280の少なくとも一部分を線形経路LP2に沿って駆動するように動作可能なアクチュエータ282と連結されている。いくつかの変形例では、アクチュエータ282は、圧電素子を含む。別の例として、アクチュエータ282は、ソレノイドを含んでもよい。いくつかの他の変形例では、アクチュエータ282は、回転運動を線形運動に変換するように動作可能な機械的アセンブリ(例えば、ラック及びピニオン又はウォームギア及びナットなど)と連結されているステッピングモータ又は他の回転駆動源を含む。以下でより詳細に記載されるように、アクチュエータ282は、線形経路LP2に沿って投影レンズアセンブリ280の少なくとも一部分の位置を変更することにより、アクチュエータ282及び投影レンズアセンブリ280は、SIM格子焦点面を調整するように共に動作可能である。
上述のように、本実施例のシステム100は、コントローラ195を含む。コントローラ195を使用して、光学アセンブリ200及びシステム100の多様な構成要素を同期させることなど、光学アセンブリ200及びシステム100の他の機構の動作を制御することができる。コントローラ195を実装して、例えば、モータ256の作動、アクチュエータ272の作動、アクチュエータ282を介する投影レンズアセンブリ280の1つ以上の要素の移動、フォーカス構成要素175の作動、カメラシステム140の作動、及び他の撮影動作などのシステム動作の態様を制御することができる。コントローラを実装して、システム100のハードウェア要素を制御して、経時的な構造化照明パラメータの変化を補正することもできる。例えば、コントローラは、制御信号をデバイス(例えば、モータ256、アクチュエータ272など)に送信して、経時的な構造化照明の位相、周波数、及び/又は配向の変化を補正又は補償するように構成されてもよい。実施態様では、これらの信号は、SIMイメージング部品を使用して予測される構造化照明パラメータに従って送信され得る。いくつかの実施態様では、コントローラは、様々な時間及び/又は試料位置に対応する、予測及び推定された構造化照明パラメータを記憶するためのメモリを含んでもよい。
図5A~図5Dは、多様な動作段階における光学アセンブリ200を示す。図5Aに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。この段階で、格子切り替え部250は、反射要素220から反射された光がミラー262によって更に反射されるように、第1の状態にある。ミラー262によって反射された光は、ガラス要素242を通過し、位相マスク246に向けて光を反射する反射体244に到達する。光が位相マスク246を通過すると、位相マスク246は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、プレート252の開口部268を通過し、反射要素270に到達し、その後、構造化された光を投影レンズアセンブリ280に向けて反射させる。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の第1の画像を撮像する。
第1の画像が図5Aに示される光学系200の構成で取得された後、アクチュエータ272は、線形経路LP1上の第1の位置から線形経路LP1上の第2の位置へ反射要素270を駆動するように作動され、それにより、光学系200は次に図5Bに示される構成となる。図5Bに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。この段階で、格子切り替え部250は、反射要素220から反射された光がミラー262によって更に反射されるように、第1の状態にある。ミラー262によって反射された光は、ガラス要素242を通過し、位相マスク246に向けて光を反射する反射体244に到達する。光が位相マスク246を通過すると、位相マスク246は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、プレート252の開口部268を通過し、反射要素270に到達し、その後、構造化された光を投影レンズアセンブリ280に向けて反射させる。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Aに示す段階と図5Bに示す段階との間の唯一の違いは、反射要素270が第2の状態(すなわち、線形経路LP1に沿う第2の位置)にあることである。したがって、この動作段階の間に反射要素270が異なる位置にあるため、図5Bに示す構成の光学アセンブリ200で撮像された画像は、図5Aに示す構成の光学アセンブリ200で撮像された画像とは異なる位相を有することとなる。
本明細書に記載されたプロセスのいくつかの変形例では、アクチュエータ272は、格子切り替え部250が第1の状態にある間に、反射要素270を線形経路LP1に沿う第3の位置に駆動するように作動された後、図5Cに示され、以下に記載された段階に進む。このようなプロセスの変形例では、カメラシステム140は、格子切り替え部250が第1の状態にある間に3つの画像を撮像することができ、これらの画像のそれぞれは、線形経路LP1に沿う反射要素270のそれぞれの位置に基づいて異なる位相を表す。当然ながら、アクチュエータ272はまた、反射部材270を第4の位置、第5の位置などに駆動するように作動されてもよく、それにより、格子切り替え部250が第1の状態にある間に、任意の所望の数の位相が画像の撮像中に用いられ得る。
所望の数の画像が、図5A~図5Bに示された第1の状態の格子切り替え部250により取得された後、モータ256が作動されて、シャフト254を軸線Aを中心に回転させ、それによって軸線Aを中心にプレート252を回転させて、格子切り替え部250を図5C~図5Dに示される第2の状態に移行させる。図5Cに示す段階では、アクチュエータ272はまた、反射要素270を第2の状態(すなわち、線形経路LP1上の第2の位置)から第1の状態(すなわち、線形経路LP1上の第1の位置)に戻るように作動されている。いくつかの他の変形例では、反射要素270は、第1の状態から第2の状態への格子切り替え部250の移行の直後に第2の状態に留まり、反射要素270は、反射要素270が第2の状態にあり、格子切り替え部250が第2の状態にある間に、画像が撮像された後に第1の状態に遷移する。
図5Cに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。ここで第2の状態にある格子切り替え部250により、反射要素220から反射された光は開口部268を通過し、更にガラス要素232を通過する。ガラス要素232を通過した光は、位相マスク236に向けて光を反射する反射体234に到達する。光が位相マスク236を通過するとき、位相マスク236は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、ミラー264から反射される。ミラー264は、構造化された光を反射要素270に向けて反射し、次いで、構造化された光を投影レンズアセンブリ280に向けて反射する。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Cに示される光学系200の構成で画像を取得した後、アクチュエータ272は、第1の状態(すなわち、線形経路LP1上の第1の位置)から第2の状態(すなわち、線形経路LP1上の第2の位置)へ反射要素270を駆動するように作動され、その後、光学系200は、図5Dに示される構成となる。図5Dに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。ここで第2の状態にある格子切り替え部250により、反射要素220から反射された光は開口部268を通過し、更にガラス要素232を通過する。ガラス要素232を通過した光は、位相マスク236に向けて光を反射する反射体234に到達する。光が位相マスク236を通過するとき、位相マスク236は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、ミラー264から反射される。ミラー264は、構造化された光を反射要素270に向けて反射し、次いで、構造化された光を投影レンズアセンブリ280に向けて反射する。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Cに示す段階と図5Dに示す段階との間の唯一の違いは、反射要素270が第2の状態(すなわち、線形経路LP1に沿う第2の位置)にあることである。したがって、この動作段階の間に反射要素270が異なる位置にあるため、図5Dに示す構成の光学アセンブリ200で撮像された画像は、図5Cに示す構成の光学アセンブリ200で撮像された画像とは異なる位相を有することとなる。
本明細書に記載されるプロセスのいくつかの変形例では、アクチュエータ272は、格子切り替え部250が第2の状態にある間に、反射要素270を線形経路LP1に沿う第3の位置に駆動するように作動された後、画像を撮像するプロセスが完了する。このようなプロセスの変形例では、カメラシステム140は、格子切り替え部250が第2の状態にある間に3つの画像を撮像することができ、これらの画像のそれぞれは、線形経路LP1に沿う反射要素270のそれぞれの位置に基づいて異なる位相を表す。当然ながら、アクチュエータ272はまた、反射部材270を第4の位置、第5の位置などに駆動するように作動されてもよく、それにより、格子切り替え部250が第2の状態にある間に、任意の所望の数の位相が画像の撮像中に用いられ得る。
上述のように、画像撮像プロセスは、2つ以上の別個のチャネル(例えば、青色チャネル及び緑色チャネル)を介して実行されてもよい。換言すれば、図5A~図5Dを参照して上述したプロセスは、2つ以上の別個のチャネルによって実行されてもよい。発光アセンブリ210は、両方のチャネルを提供するように動作可能であってもよく、又はそれぞれのチャネルは、チャネル自体の発光アセンブリ210を有してもよい。いくつかの変形例では、2つの別個のチャネルは、光学アセンブリ200を介して同時に作動される。いくつかの他の変形例では、図5Dに示す段階の間に第2のチャネルが作動されるまでに、図5Aに示す段階の間に第1のチャネルが作動され、その後、図5Aに示される段階の間に第2のチャネルが作動され、その後、図5Bに示される段階の間に第1のチャネルが作動され、その後、図5Bに示される段階の間に第2のチャネルが作動され、などが行われる。更に別の例として、それぞれのチャネルは、チャネル自体の専用の光学アセンブリ200を有してもよい。いくつかのそのような変形例では、更なる光学構成要素を利用して、それぞれの光学アセンブリ200の投影レンズアセンブリ280が、それぞれのチャネルから同じ標的(例えば、試料容器110)に光を投射することを可能にし得る。1つ以上の光学アセンブリ200が2つ以上のチャネルの使用を可能にし得る他の好適な方法は、本明細書の教示を考慮することで当業者には明らかとなろう。また、システム100内の他の構成要素(例えば、フィルタ切り替えアセンブリ165)は、2つ以上のチャネルの使用を更に可能にし得ることも理解されたい。1つのチャネルが青色であり、別のチャネルが緑色である変形例では、青色チャネルは、およそ450nm~およそ500nmの範囲の波長の光で動作することができ、緑色チャネルは、およそ500nm~およそ570nmの範囲の波長の光で動作することができる。
また上述したように、システム100内の光学アセンブリ200の使用で撮影される素材は、フローセル上のナノウェル内の1つ以上の生体試料(例えば、ヌクレオチドなど)を含んでもよく、試料容器110のいくつかの形態はフローセルを含んでもよい。このようなナノウェルは、規則的な反復パターンに配置されてもよい。矩形パターンに関して、2つの構造化照明の角度が実質的に、パターン内の矩形の対向する角部を接続する2つの対角線に沿って使用されてもよく、その結果、構造化照明の強度ピークは、2つの対角線に対して実質的に垂直に配向される。あるいは、構造化照明の角度は、矩形のナノウェルのパターン方向と同じ方向に沿って(すなわち、矩形の対向する角部に沿わずに)配向されてもよい。
パターン内の六角形の対向する角部を接続する3つの対角線を有するナノウェルの反復六角形パターンについては、3つの構造化照明の角度を、3つの対角線に対して実質的に垂直に配向された強度ピークと共に使用することができる。あるいは、2種類の角度の照明パターンは、ナノウェルの六角形パターンを有するフローセルと共に使用されてもよく、それにより、全ての場合において、3つの構造化照明の角度をナノウェルの六角形パターンと共に使用することが不要となる。更に、構造化照明の角度は、六角形のナノウェルのパターン方向と同じ方向に沿って(すなわち、六角形の対向する角部に沿わず)配向されてもよい。
ナノウェルのパターンの種類にかかわらず、隣接するナノウェルは、関連する光学系のアッベ回折限界よりも近接して位置付けられてもよい。あるいは、試料は、ナノウェルなしで撮影面の上にランダムに分布されてもよい。又は、試料は、ナノウェル以外のいくつかの構造体上の撮影面の上に規則的に配置されてもよい。
IV.画像処理アルゴリズムの例
A.SIM画像処理方法の概要
光学センサ又は(例えば、カメラシステム140に組み込まれているような)画像センサによって撮像された画像は、タイルと称されてもよい。以下に記載されるような画像処理アルゴリズムは、撮像された画像タイルをサブタイルに細分化することができる。それぞれのサブタイルは、独立して評価することができる。略中央サブタイルは、他のサブタイルとは異なって処理されてもよい。フローセルの撮影周期は、一部の重なりを有する多くの画像タイルを撮像することができる。サブタイルは、平行であっても、互いに独立して再構成されてもよい。改善されたサブタイルからの再構成は、改善された空間分解能を有する再構成タイルを生成するように共にステッチされてもよい。場合によっては、画像タイルは、サブタイルに細分化されて、ピーク線がサブタイル内でほぼ均等に離間され、それによって、レンズの視野にわたって再構成されたサブタイルからの画質がより良好になる。
場合によっては、少なくとも3つのパラメータがサブタイルごとにマッピングされる。このようなパラメータは、照明ピーク角度、照明ピーク間隔、及び位相変位を含んでもよい。照明ピーク角度はまた、格子角度と称されてもよい。照明ピーク間隔は、格子間隔と称されてもよい。換言すれば、照明ピーク間隔は、格子の周期性(例えば、位相マスク236、246によって画定された平行線間の間隔)を画定する。位相変位又は位相は、(例えば、アクチュエータ272によって駆動されるように、線形経路LP1に沿う反射要素270の位置に基づいて)試料平面上に投影されるような構造化照明パターン又は格子のシフトである。換言すれば、位相は、格子に直交する方向における共通基準点から反復照明パターンの開始までの距離として定義されてもよい。位相は、ラジアン又は度で表すことができ、反復パターンの周期の分画と見なすことができる。位相変位はまた、格子位相と称されてもよい。角度及び間隔は、二次曲面歪みモデルを使用してマッピングすることができる。
以下は、SIM画像再構成のパラメータを推定するために使用され得る技術の例を記載する。開示される技術のうちのいくつかは、レンズの欠陥に起因して歪んだ又は曲がった縞のピーク線を補正している。平行であると想定されるパターン線は、画像の中心付近で開始するが、レンズの縁部付近で収束するか、又は非平行になる傾向がある。これは、照明ピーク角度又は配向、照明ピーク間隔、及び位相オフセットに影響を及ぼす。図8Aは、画像タイルをサブタイル又はサブウィンドウ又はサブフィールドと称される重複領域に分割することを示す。サブタイルは、サブタイル全体の十分な再構成をもたらすパラメータを設定することができるほど十分に小さい。いくつかの変形例では、それぞれのサブタイルは、512×512ピクセルの光学センサを含む。256、400、1024、2048及び4096又は256~4096ピクセルの範囲を含むがこれらに限定されない、より大きい又はより小さい数が使用されてもよい。サブタイルは、光学センサの少なくとも2ピクセルだけ重なり合ってもよい。より大きい又はより小さい数が使用されてもよい。例えば、512ピクセル幅のウィンドウの場合、最大256ピクセルの重なりが使用されてもよく、1024ピクセル幅の場合、最大512の重なりが使用されてもよい。
パラメータ推定は、2つのステップで実行されてもよい。最初に、画像の略中央サブタイルについてパラメータ推定を実行することができる。次いで、パラメータ推定は、他のサブタイルに対して実行され、略中央サブタイルと比較して、略中央サブタイルのパラメータに対して歪み及び歪みに対する補正を決定することができる。
図6A~図6Cは、全視野(field of view、FOV)の物理的態様を示す。一実施態様では、5472ピクセル×3694ピクセルである矩形センサが使用される。当然のことながら、方形センサ、又は、例えば、5472×5472ピクセル又は4800×4800ピクセルなどの異なるサイズのセンサが使用されてもよい。矩形センサが使用されるとき、歪みは、レンズの縁部に最も近いところで最大となる。レンズは、多くの場合、円形であるため、矩形センサは、短辺上ほど長辺上でレンズの縁部に近接しない。
図6Aは、全視野(FOV)にわたる縞の間隔の歪みを示す2つの図を示す。左の図300は、拡大レンズの歪みに起因して屈曲する平行線の簡略図300である。図示された線は、画像平面内で平行であることが意図されている。レンズを通して見ると、中心の間隔に対して左右の端部で線が収束しているように見える。右の図302は、別の誇張された例である。この図では、縞の線は、左上角部との右下角部との間で斜めに配向されている。縞の間隔は、より容易に見ることができるように誇張されている。縞の線は、中心に対して左上角部及び右下角部において収束している。特定の製造業者のレンズでは、縞パターンは不均一であり得る。
図6B及び図6Cは、緑色及び青色のレーザ照明のための、画像平面内の名目上平行な縞のピーク間の画像における間隔の測定値を示す。カラースケールは、2.8~2.22の間隔の変動を示す。両方の図において、カラースケールは、平行線間の中心間隔がおよそ2.14であることを示している。緑色波長照明下の不規則性は、図6Bの右上隅に見られる。青色波長照明下でのより大きい不規則性は、図6Cにおいて右縁部及び左縁部に沿って見られる。これらの図では、縞パターンは、図の左下から右上まで45°の角度における一連の平行線であった。したがって、間隔は、図8Cの矢印の方向に測定される。これらの図は、レンズによって引き起こされる歪みの補正を動機付ける。レンズは、個別に製造及び装着されるため、組み立て後の個々のシステムの較正及び補正が所望される。
図6Dは、画像タイル内の全視野(FOV)のサブタイル又はサブフィールドを示す。この図では、図示したサブタイルは、512ピクセル×512ピクセルである。これらのサブタイルは、図示された視野を細分化してもよく、又は重なり合ってもよい。サブタイルは、より大きくても小さくてもよい。例えば、400×400ピクセル及び1024×1024ピクセルのサブタイルが有効であることが示されている。図は、5×7個のサブタイルを示している。上記のより大きいセンサは、8×11個のサブタイルを有してもよい。3×3個、5×5個、5×7個、9×9個、9×16個などのサブタイルの他の構成を使用することができる。より大きいセンサは、より多くのサブタイルに分割されてもよい。サブタイルは、光学センサの少なくとも2ピクセルだけ重なり合ってもよい。サブタイル間で重なり合うために、より多くの画素及びより少ない画素が使用されてもよい。例えば、512ピクセル幅のサブタイルの場合、最大256ピクセルの重なりが使用されてもよく、1024ピクセル幅のサブタイルの場合、最大256ピクセルの重なりが使用されてもよい。図6B及び図6Cと一致して、いくつかの候補の略中央サブタイル304が存在し、そのすべては、奇数×奇数個のサブタイルアレイ内の中央サブタイルを含む、レンズの芯に存在する。本明細書で使用する際、略中央サブタイルは、センサの中心画素を含むか、又は中心画素を含むサブタイルに隣接するかいずれか一方である。平坦であり、小さい誤差を有するいくつかの光学系では、全体的な歪み補償に影響を与えることなく、更に中央サブタイルに隣接するタイル由来のサブタイルを基準として使用することができる。
開示される技術は、画像センサによって捕捉された実質的に全視野にわたって測定されたマッピングの歪みを含む。規則的な構造化照明からの改善された解像度のSIM再構成が依存する3つのパラメータとしては、縞の間隔、縞の角度、及び縞パターンの位相変位が挙げられる。これらの変数は、構造化照明又は格子パターンの間隔、角度、及び位相オフセットとも称される。中心タイル値からの間隔及び角度変位は、多項式曲面を使用して全視野にわたってあてはめられてもよい。二次曲面及び立方曲面の両方が調査されている。高次多項式もまた使用されてもよい。
画像タイルにわたる縞の間隔及び縞の角度の両方は、二次曲面によってあてはめられてもよい。感度分析は、二次曲面がほぼほぼ立体曲面と同様にあてはめることを示している。二次曲面は、以下の式(II)にあてはめられる。
Figure 2023503742000003
位相推定の一実施態様は、タイトルが「Phase Optimisation for Structured Illumination Microscopy」(2013年)であるWickerらの論文第3節によってWickerらによって提案された技術を用いる。タイトルが「Structured Illumination Microscopy Image Reconstruction Algorithm」(2015年)であるLalらの式及び2013年のWickerらの式は、Wickerの位相推定を説明するのに役立つ。
2015年にLalらから入手された以下の式(III)は、周波数成分の3つの帯域:
Figure 2023503742000004
を、取得した画像
Figure 2023503742000005
から分離する。混合行列は、パターン角度又は配向0に対応する正弦波照明強度パターンIθ,φ(r)を使用して撮像された画像の位相φ、φ、及びφの推定値を使用する。Wickerら(2013年)は、φとして、ある配向でのn番目の画像の位相を指している。十分な精度で位相が分からない場合、非混合又は帯域分離プロセスは、周波数ドメインにおいて、観測画像
Figure 2023503742000006
から空間周波数成分を不完全に分離することとなる。実際には、3つの空間周波数成分
Figure 2023503742000007
は、以下の式(III)によって提供されるノイズの項によって表されるように、他の成分からの残留情報をより多く又はより少なく含有することとなる。
Figure 2023503742000008
3つの成分を有するこの式は、正弦照明又は余弦照明に対するフーリエ変換から得られる。異なる照明関数が、式を変化させることができる。
したがって、照明正弦波強度パターン位相の正確な知識が重要であり得る。実験設定においてこれらの位相を正確に制御することが常に可能ではないので、取得された画像データから照明パターンの位相を決定することが所望され得る。Wickerら(2013年)は、選択された周波数でコヒーレント正弦波照明を使用して取得されたSIMデータの位相推定技術を提示している。コヒーレント照明は、非常に小さい照明ピーク間隔「s」有する微細格子から良好なパターンコントラストを生成し、これにより再構成された解像度を改善する。照明パターンのピーク周波数を使用して、n番目の画像の照明パターンの位相を取得する。照明パターンのピーク周波数は、フーリエピークとも称される。
Wickerら(2013年)による以下の式(IV)は、周波数ドメイン内の周波数
Figure 2023503742000009
にわたって、獲得画像
Figure 2023503742000010
によって式(II)の一般化された形態を提示する。それぞれの画像は、様々な位相を重ね合わせた
Figure 2023503742000011
と称される3つの成分を含む。なお、これら3つの成分は、式(III)における
Figure 2023503742000012
と同じ3つの成分である。
Figure 2023503742000013
なお、式(IV)における「c」は、照明パターンのコントラストと称される。ノイズがない場合、「c」は、式(2)における混合行列Mの変調係数「m」と同じである。φを決定するために、式(IV)における周波数
Figure 2023503742000014
は、照明パターンのピーク周波数である
Figure 2023503742000015
と置き換えられ、次の式(V)を得る。
Figure 2023503742000016
式(V)は、パターン位相φが、周波数
Figure 2023503742000017
にわたって取得された画像
Figure 2023503742000018
の位相とほぼ等しいことを示す。パターン位相φのこの概算推定は、3つのガイドラインが遵守される場合、良好な結果をもたらし得る。第1に、照明パターンのコントラストcは、十分に大きくなければならない。第2に、試料のパワースペクトルは、周波数が大きくなるにしたがって十分速く減少しなければならない。これらの2つのガイドラインが遵守される場合、式(V)は最後の項によって影響を及ぼされ、したがって、以下の式(VI)に簡略化され得る。
Figure 2023503742000019
任意の実数値の試料については、中心周波数
Figure 2023503742000020
は実数値であることとなる。更に、点広がり関数(PSF)
Figure 2023503742000021
が実数かつ対称である場合、光学伝達関数(OTF)
Figure 2023503742000022
は、実数であることとなる。OTFは、点広がり関数(PSF)の畳み込みである。点広がり関数は、イメージングシステムの光学伝達関数の空間的ドメインの変形例である。「点広がり関数」という名称は、全ての物理光学系が、光の点をある程度ぼかし(広げ)、ぼかしの量が光学構成要素の品質によって決定されることを示す。イメージングシステムの解像度は、PSFのサイズによって限定される。非対称性PSFについては、OTFの位相を考慮するべきである。
第3に、パターン周波数
Figure 2023503742000023
におけるOTFは、ノイズを克服するのに十分に大きくなければならない。OTFが小さすぎる場合、取得された画像内のノイズは、
Figure 2023503742000024
で測定された位相を著しく変更し得る。この位相推定法は、検出OTFをサポートするために、パターン周波数
Figure 2023503742000025
外で使用することができない。このような周波数に対して、
Figure 2023503742000026
である。
光学系のOTFを実験的に決定することができる。例えば、Lalら(2015年)は、疎に分布した100nmの蛍光ミクロスフェアを有する試料のいくつかの画像を得ることによってOTFを計算する。次いで、100個超のミクロスフェアに対応する強度分布を重畳し、平均して、システムのPSFの近似値を得た。このPSFのフーリエ変換は、システムのOTFを推定する。この背景により、位相推定技術をサブタイルに適用することができる。
全視野(FOV)に対するタイルの位相変位を推定することが有用であり得、それにより、1つのサブタイル内の位相の測定が、タイルにわたって他のサブタイルに外挿することができる。全FOVの照明ピーク角度及び照明ピーク間隔は、上に提示された二次曲線モデルを使用して、サブタイルの照明ピーク角度及び照明ピーク間隔から推定することができる。位相変位は、サブタイルの画素形状に依存するため、より不規則的であり得、これは、平滑関数の代わりに不規則な階段関数を生成し得る。位相推定は、全FOV画像のサブタイルにわたる共通の基準フレームを使用して表すことができる。サブタイルの座標空間は、全FOV座標空間にマッピングすることができる。
B.SIMシステム用の較正法の実施例
SIM光学系における様々な構造パラメータ及び動作パラメータは、SIM再構成超解像画像の品質に悪影響を及ぼし得る。例えば、レンズを含む任意の光学系(例えば、上述したレンズアセンブリ280内の、カメラシステム140に組み込まれているいくつかの他のレンズ)では、少なくとも1つのレンズは、カメラシステム140によって撮像された画像内に歪みを生成し得る1つ以上の構造収差を含み得る。SIM再構成で使用される計算は、収差を有するレンズを使用して、又は他の収差を有する光学アセンブリ200を使用して撮像されるソース画像の歪みに対する感受性を示し得る。中心の芯の代わりにレンズの大部分を使用して視野を増大させることにより、レンズ内の収差によって引き起こされる歪みに対するSIM画像再構成の感受性を向上させることができる。したがって、以下に記載する実施例は、これらのレンズの収差を検出し、このような収差を考慮するように、画像処理の間に必要に応じて調整を行うためのシステム及び方法を提供する。
以下の説明は、処理方法におけるSIMスタックの処理を指す。本実施例では、それぞれのSIMスタックは、12個の画像、すなわち、2つのチャネルからの6個の画像を含む。各チャネルについて、6つの画像のセットは、(例えば、図5A及び図5Bに示すように)格子切り替え部250が第1の状態にある間に、反射要素270が、線形経路LP1に沿う3つの異なる位置に配置されて撮影された3つの画像と、(例えば、図5C及び図5Dに示すように)格子切り替え部250が第2の状態にある間に、反射要素270が、線形経路LP1に沿う同じ3つの異なる位置に配置されて撮影された他の3つの画像と、を含む。したがって、SIMスタック内の各チャネルについての6つの画像のセットは、2つの異なる格子角度又は照明ピーク角度のそれぞれについて3つの異なる位相を表す。あるいは、任意の他の好適な数の画像を使用してそれぞれのSIMスタックを形成してもよく、そのような画像は、上記で特定されたパラメータ以外のパラメータに基づいて互いに異なってもよい。
光学要素内での欠陥を考慮するために、本実施例のプロセスは、これらの欠陥により生み出された歪みのマップを確立する。欠陥は、システム100によって異なることとなるため、このマッピングプロセスは、各システム100について臨機応変に実施され、これにより、各システム100は、各システム100の関連付けられた歪みマップを有することとなる。本実施例は、光学アセンブリ200及びシステム100を用いて撮像されたSIM画像との関連で提供されているが、以下に記載するプロセスは、本明細書の教示の観点から、当業者には明白であるように、様々な他の種類の光学アセンブリ及びシステムにより実施されてもよい。以下に記載するプロセスは、光学アセンブリ200及びシステム100との関連に限定されない。
歪みマップを生成するために、プロセスは、「スライディングウィンドウ」アプローチを用いて、画像のSIMスタックを分析する。本アプローチにおいて、プロセッサは、所与の瞬間において、SIMスタックの方形トリミング又はサブタイルを単に分析する一方で、ウィンドウは、プロセス全体を通してSIMスタックの視野に沿ってスライドし、ウィンドウのスライドの間にいくつかのサブタイルを分析し、これにより、分析されたサブタイルが最終的に互いに重なり合い、SIMスタックの視野の(全体ではなく)実質的に一部分をまとめて画定する。スライディングウィンドウ反復器によって生成された各サブタイルに対して、各チャネル及び各角度に対して全幅半変調(full width half modulation、FWHM)及びパラメータが推定される。各サブタイルに由来するこれらの推定パラメータ及びFWHMは全て、2次元表に保存される。場合によっては、本明細書に記載する較正プロセスの目標は、変調の不均一性、間隔、及び(歪みモデルをもたらす二次曲面推定量に入力する)格子角度の不均一性、並びに位相偏位の不均一性を測定することである。
上述したプロセスを図7に示す。図7のブロック400に示すように、プロセスは、最も焦点の合ったSIMスタックを特定することで開始する。上記のとおり、SIMスタックは、一定の増分(例えば、およそ0.5μm)で調整されるz位置で撮像され得、これにより、あるSIMスタックが、SIMスタックの特定のz位置に起因して、他のSIMスタックよりも良好な焦点をもたらす傾向にあり得る。当業者に知られている従来の方法を使用して、他のSIMスタックから、最も焦点の合ったSIMスタックを特定することができる。最も焦点の合ったSIMスタックを特定したら、プロセスは、SIMスタック内の各画像の中心のウィンドウ(すなわち、SIMスタック内の各画像の視野の中央領域)を含み得る「推定ウィンドウ」もまた定義することができる。この推定ウィンドウは、パラメータ推定のための最良の画質を有すると推測され得、後述のように、プロセスで後に利用することができる。推定ウィンドウのサイズ及び構成は、既定であってもよい。
次に、図7のブロック402に示すように、プロセスは、特定された最も焦点の合ったSIMスタックにスライディングウィンドウ反復器を適用することができる。このスライディングウィンドウ反復器は、所与の瞬間において、SIMスタック内の各画像の視野全体の一部分のみを視認するスライディングウィンドウを画定することができる。したがって、スライディングウィンドウ反復器は、スライディングウィンドウを、SIMスタックの各画像の視野全体にまたがって移動させることによって、SIMスタック内の各画像をスキャンすることができ、所与の瞬間において、画像の一部分のみを処理することができる。図8A~図8Cを参照して以下に記載するように、スライディングウィンドウは、互いに重なり合う連続した視野を提供し得る。スライディングウィンドウのストライド(例えば、移動の距離及び速度)、スライディングウィンドウのサイズ、及びスライディングウィンドウの構成は、既定であってもよい。
スライディングウィンドウ反復器は、スライディングウィンドウが画像にわたってスライドすると、任意の好適な頻度でSIMスタック内の各画像からデータを撮像することができる。いくつかの変形例では、スライディングウィンドウは、互いに重なり合う画像の領域からデータを撮像することができる。この一例を画像502を横切るスライディングウィンドウ500を示す図8A~図8Cに示す。図示のように、第3のデータ撮像の瞬間(図8C)におけるスライディングウィンドウ500の位置510は、第2のデータ撮像の瞬間(図8B)におけるスライディングウィンドウの位置520と空間的重なり(512)を有する。そして、第2のデータ撮像の瞬間におけるスライディングウィンドウ500の位置520は、第1のデータ撮像の瞬間(図8A)におけるスライディングウィンドウの位置530と空間的重なり(522)を有する。いくつかの実施態様において、空間的重なり512、522は、速度と解像度の最適なバランスをもたらすように、スライディングウィンドウ500のサイズのおよそ60%~およそ90%であり得る。スライディングウィンドウ500が512ピクセルのサイズを有する更なる例によって、スライディングウィンドウ500のストライドは、最大でおよそ200ピクセルであることができる。あるいは、空間的重なり512、522は、スライディングウィンドウ500のサイズのおよそ60%未満、又はスライディングウィンドウ500のサイズのおよそ90%超であってもよい。
スライディングウィンドウ反復器は、上で言及したデータ撮像の瞬間に対応するベース画像の一部分を表す複数のサブタイルを最終的に生成し得る。各サブタイルは、SIMスタック(例えば、12個のベース画像のスタック)内の対応する画像から入手されるため、サブタイルを入手したSIMスタックに対応する、スタック内のサブタイルを考慮することが有益であり得る。このようなサブタイルは、SIMスタック内のベース画像の同一領域から入手することができ、そのため、サブタイルが空間的に関連している。簡潔には、空間的に関連するサブタイルのこのまとまりを、「サブタイルSIMスタック」と呼ぶことができる。
スライディングウィンドウ反復器が適用された後、次に、プロセスは、スライディングウィンドウ反復器により得られた各サブタイルに適用され得る。具体的には、図7のブロック404に示すように、プロセスは、各サブタイル内の各チャネル及び各格子角度に対するパラメータを推定することができる。推定パラメータとしては、変調、格子角度、間隔(すなわち、局所的格子間隔若しくは局所的SIM照明パターンの周期性)、位相オフセット、位相偏位、又は様々な他のパラメータを挙げることができる。パラメータの推定はまず、(ピークの視認性を向上させるための、様々な前処理を伴う)格子パターンのピークに対する大まかな検索を実施するフーリエドメインアルゴリズムを含み得る。大まかな位置が特定された後、精密解像度グリッド検索アルゴリズム(fine-resolution grid-search algorithm)を実施して、目的関数(所与のピーク位置における変調値)を最大化することができる。プロセスはまた、図7のブロック406に示すように、各サブタイル内の各チャネル及び各格子角度に対するFWHMを推定することができる。
パラメータが推定され、各サブタイルに対する各角度及び各格子角度に対してFWHMが推定されると、これらの値は、図7のブロック408に示すように、後の使用のために保存することができる。いくつかの変形例では、値は2次元表に記憶される。あるいは、任意の他の好適な記憶の形態を使用してもよい。プロセスのいくつかの変形例では、プロセスは本段階で終了してもよい。
プロセスのいくつかの他の変形例では、プロセスは、図7のブロック410に示すように、SIMスタック内の各ベース画像に対する中心ウィンドウパラメータを推定することで継続する。本実施例において、プロセスのこの部分は、スライディングウィンドウ反復器により生成されたような各サブタイルに対して実行されるのではなく、SIMスタック内の各ベース画像に対して実行される。この中心ウィンドウは、各画像の縁部及び角部付近でより生じる可能性があり得る歪みを避けるために所望され得る。
中心ウィンドウパラメータが推定されると、プロセスは、図7のブロック412に示すように、歪みモデルを推定することができる。このような歪みモデルが推定され得る方法の例を、図9を参照しながら更に詳細に以下で説明する。推定された歪みモデルを使用して、図7のブロック414に示すように、2次元参照画像を生成することができる。2次元参照画像は、光学アセンブリ200及びシステム100を用いて撮像した画像内の歪みが生じている既知の領域を手元に示すことができる。したがって、2次元参照画像は、既知の歪みが位置する場所を厳密に判定するために後で使用可能なマップを提供することができる。
上述のプロセスは、光学アセンブリ200及びシステム100を使用して、生体試料などのSIM画像を撮像する前に、参照となる光学標的を使用して、光学アセンブリ200及びシステム100の通常使用の間に、試料容器110内で実行することができる。すなわち、上述のプロセスは、較正手順と同様に、光学アセンブリ及びシステム100の最初の使用の間に実行することができる。2次元参照画像が、上述のプロセスを使用して生成されると、図7のブロック416に示すように、光学アセンブリ200及びシステム100の通常使用中に試料容器110中の生体試料などのSIM画像が後で撮像されるときに、SIM再構成モードに2次元参照画像を組み入れることができる。例えば、SIM再構成プロセスは、2次元参照画像にマッピングされた既知の歪みを考慮するように、再構成中、調整を行うことができる。2次元参照画像にマッピングされたような既知の歪みに組み入れることで、SIM再構成プロセスは最終的に、より正確なSIM画像を生成することができる。
図9は、図7のブロック412を参照して上述したような歪みモデルを推定するように実行可能なプロセスの一例を示す。したがって、図9は、図7に示すプロセスの実施中に実行可能なサブプロセスを表す。本実施例では、歪みモデルの推定プロセスは、図9のブロック600に示すように、各パラメータに対して、上述した2次元表から、推定された中心ウィンドウパラメータを減算する。これは、絶対値を、中心ウィンドウに対するバイアスに変換することを含む。すなわち、様々なSIMパラメータ(角度、各角度に対する間隔、及びチャネルの組み合わせ)の、そのままの推定値が、中心ウィンドウからの偏位パラメータに変換される。これを達成するために、プロセスは、(偏位が、特定の画像サブセット位置におけるパラメータの比率と、中心ウィンドウにおける同一パラメータの比率との対比として表される場合、)当該値を中央値で除してもよい。あるいは、プロセスは(偏位が、中央位置からのオフセットとして表される場合、)中央値を減算してもよい。
次に、各パラメータに対して、プロセスは、図9のブロック602に示すように、最小二乗法回帰における縮小推定量により二次曲面関数をあてはめる。プロセスは次に、図9のブロック604に示すように、決定係数(R)がいくつかの閾値(例えば95)を確実に超えるようにすることにより、モデルを検証する。例えば、格子歪み測定基準は、格子方向(例えば、位相マスク236、246上の線の方向)と直交する特定の場所において、あてはめられた二次曲面関数をサンプリングすることにより特徴づけすることができる。本実施例では、最小二乗法回帰を使用して二次曲面関数をあてはめているが、任意の他の好適なあてはめアルゴリズムを使用することができる。更に、任意の他の好適な関数形態(すなわち、二次曲面以外のもの)を使用することができる。
本実施例に戻ると、プロセスは次に、図9のブロック606に示すように、あてはめられたパラメータを歪みモデルデータ構造に加える。この時点で、プロセスは、図9のブロック608に示すように、位相オフセットを推定し、図9のブロック610に示すように、推定された位相オフセットをデータ構造(例えば表)に記憶することにより、歪みモデルの推定を完了する。後のSIM画像再構成の間に、記憶された表を使用することで、SIM画像の任意の他のウィンドウに、記憶された、推定された位相オフセットを外挿することができる。
C.SIMシステムにおける反ストークス発光の統合
フルオロフォアが光により励起され、フルオロフォアが蛍光を発し、それによって光を発すると、フルオロフォアにより発せられた光のスペクトルは、励起光のスペクトルに対してシフトする。このシフトは、ストークスシフトとして既知である。これは、フルオロフォアにより発せられた光子のエネルギーが、フルオロフォアにより吸収される励起光子のエネルギーより小さいという事実に起因し得る。エネルギーのこの差は、フルオロフォアが励起状態にあるときに生じる、エネルギーが分子の振動により失われることにより引き起こされ得る。失われたエネルギーは、周囲の溶媒分子が励起したフルオロフォアに衝突するときに、周囲の溶媒分子への熱として消散し得る。ストークスシフトの状況において、発せられた光は、励起光の波長よりも長い波長を有し得る。
場合によっては、フルオロフォアにより発せられた光子のエネルギーは、フルオロフォアにより吸収される励起光子のエネルギーより大きい。したがって、発せられた光は、励起光の波長よりも短い波長を有し得る。フルオロフォアにより発せられた光子のエネルギーが、フルオロフォアにより吸収される励起光子のエネルギーより大きい状況において、フルオロフォアによる発光は、反ストークス発光とみなされ得る。
図10は、フルオロフォアを含有する染料からの反ストークス発光の概略図を示す。図示のように、比較的長い波長におけるポンプ光子700は、矢印706によって示すように、基底状態のマニホールド702内のより高いボルツマン励起準位から、励起状態(S1)のマニホールド704の底部に吸収される。矢印708で示すように、音量子により誘発された遷移による、S1のマニホールド704の振動準位の間の後続の熱中性子化、それに続く、基底状態(S0)への放出により、染料媒体の後続の冷却と合わせて、より高いエネルギー光子710の放出がもたらされる。本実施例では、「S0」及び「S1」は、染料分子の一重項電子状態を意味する。Sの名称は、分子の電子状態の全電子スピンを意味する。更に、染料分子は、T1、T2などにより識別される、三重項スピン状態もまた支持することができる。本実施例では、一重項電子基底状態の構成(S0)と励起一重項の構成(S1)との間の吸収及び自然放出プロセスに注目する。染料分子の電子状態はまた、分子の振動モードにも結びつけられる。所与の電子状態での振動モードの多様性は、振動マニホールドと呼ぶことができる。「振電」という用語を使用して、染料分子の電子振動状態を指すことができる。
システム100のいくつかの実施態様において、試料容器110の位置における画像標的は、第1のチャネル(例えば、第1の色)と関連付けられた第1の染料、及び第2のチャネル(例えば、第2の色)と関連付けられた第2の染料を含み得る。本実施例では、第1の染料はクマリン染料であり、第1のチャネルは青色チャネルであり、第2の染料はローダミン染料であり、第2のチャネルは緑色チャネルである。あるいは、任意の他の好適な種類の染料又はチャネルカラーを使用することができる。本実施例では、光源(例えば、発光アセンブリ210内の青色レーザ)が、青色チャネルに関連付けられた光を発するとき、SIMイメージングは、クマリン染料から青色チャネルへの蛍光発光によって、青色レーザが生成した縞の光学的検出をもたらし得る。更に、光源(例えば、発光アセンブリ210内の緑色レーザ)が、緑色チャネルに関連付けられた光を発するとき、SIMイメージングは、ローダミン染料からのストークス発光による、緑色チャネルでの緑色レーザ干渉縞の光学的検出をもたらし得る。しかし、緑色発光波長における低い変調伝達関数(MTF)は、低い縞の視認性又は低いコントラストをもたらし得、特定の波長(例えば600nm)において、緑色レーザで生成された縞を検出するのが特に難しくなる。
ストークスシフトに起因する緑色波長で観察され得る低いコントラストを克服するために、青色波長において、緑色レーザで生成された縞の観察が可能になるアプローチを提供することが所望され得る。青色チャネルがMTFの積の増加を支持するため、得られた緑色の縞は、別の方法で得られ得るコントラスト値より高いコントラスト値で、より高い忠実性を保ちながら観察することができる。実際のレーザ励起波長よりも短い波長の発光を生み出すアプローチは、染料分子内の反ストークス蛍光の現象に依拠し得る。反ストークスプロセスは、波長が、染料の平均発光波長よりも実質的に長い光子による、染料分子の励起を伴う。画像標的がクマリンブルー染料を含む場合において、クマリンブルー染料は、より長い波長(例えば520nm)にて、緑色レーザにより励起されることができる。図10に示すように、基底状態(S0)のマニホールド702の高い熱励起振動モードから、励起状態(S1)のマニホールド704の底部への、クマリン染料の緑色レーザ励起、それに続く、上方のS1のマニホールド704内での熱中性子化により、初期励起波長700よりもはるかに短い波長発光710がもたらされる。この短波長/高エネルギー放出710により、青色波長において、緑色レーザにより生成された縞の観察が可能になり得る。すなわち、青色チャネルに合わせられたカメラは、緑色レーザにより生成された青色発光を観察することができ、これにより、励起チャネル及び観察チャネルは互いに異なり得る。
V.その他
前述の説明は、当業者が本明細書に記載される様々な構成を実践することを可能にするために提供される。対象技術は、様々な図及び構成を参照して特に説明されてきたが、これらは例示目的のみのためであり、対象技術の範囲を限定するものとして解釈されるべきではないことを理解されたい。
主題技術を実施するための多くの他の方法が存在し得る。本明細書に記載される様々な機能及び要素は、主題技術の範囲から逸脱することなく、示されるものとは異なって分割され得る。これらの実施態様に対する様々な修正は、当業者には容易に明らかであり得、本明細書で定義される一般的な原理は、他の実施態様に適用することができる。したがって、主題技術の範囲から逸脱することなく、当業者によって、多くの変更及び修正を主題技術に行うことができる。例えば、異なる数の所与のモジュール又はユニットが用いられ得、異なる種類若しくは複数の種類の所与のモジュール又はユニットが用いられ得、所与のモジュール又はユニットが追加され得、あるいは所与のモジュール又はユニットが省略され得る。
本明細書に記載される実施例のいくつかの変形例は、コンピュータシステムを使用して実現されてもよく、このコンピュータシステムは、バスサブシステムを介して多数の周辺デバイスと通信する少なくとも1つのプロセッサを含んでいてよい。これらの周辺デバイスは、例えば、メモリデバイス及びファイル記憶サブシステムなどの記憶サブシステム、ユーザーインターフェース入力デバイス、ユーザーインターフェース出力デバイス及びネットワーク・インターフェース・サブシステムを含んでいてよい。入力及び出力デバイスは、コンピュータシステムとのユーザー対話を可能にし得る。ネットワーク・インターフェース・サブシステムは、他のコンピュータシステム内の対応するインターフェースデバイスへのインターフェースなど、外部ネットワークへのインターフェースを提供し得る。ユーザーインターフェース入力デバイスは、キーボード、マウス、トラックボール、タッチパッド、又はグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム及びマイクロフォンなどのオーディオ入力デバイス、並びに他の種類の入力デバイスを含んでいてよい。一般に、用語「入力デバイス」の使用は、コンピュータシステムに情報を入力するための全ての可能な種類のデバイス及び方法を含むことを意図している。
ユーザーインターフェース出力デバイスは、ディスプレイサブシステム、プリンタ、ファックス装置、又はオーディオ出力デバイスなどの非視覚ディスプレイを含んでいてよい。ディスプレイサブシステムは、陰極線管(Cathode Ray Tube、CRT)、液晶ディスプレイ(Liquid Crystal Display、LCD)などのフラットパネルデバイス、投影デバイス、又は可視画像を作成するための何らかの他の機構を含んでいてよい。ディスプレイサブシステムはまた、音声出力デバイスなどの非視覚ディスプレイを提供してもよい。一般に、用語「出力デバイス」の使用は、コンピュータシステムからユーザー又は別のマシン若しくはコンピュータシステムに情報を出力するための、全ての可能な種類のデバイス及び方法を含むことを意図している。
記憶サブシステムは、本明細書に記載されるモジュール及び方法のうちのいくつか又は全ての機能を提供するプログラミング及びデータ構築物を記憶してよい。これらのソフトウェアモジュールは、一般に、コンピュータシステムのプロセッサ単独で、又は他のプロセッサとの組み合わせで実行されてもよい。記憶サブシステムで使用されるメモリは、プログラム実行中に命令及びデータを記憶するための、メインのランダムアクセスメモリ(random access memory、RAM)、固定命令が記憶された読み取り専用メモリ(read only memory、ROM)などの、多数のメモリを含んでいてよい。ファイル記憶サブシステムは、プログラム及びデータファイルのための永続的な記憶装置を提供してよく、ハードディスクドライブ、フロッピーディスクドライブと取り外し可能な関連媒体、CD-ROMドライブ、光学ドライブ、又は取り外し可能な媒体カートリッジを含んでいてよい。特定の実施態様の機能を実装するモジュールは、記憶サブシステム内のファイル記憶サブシステムによって、又はプロセッサによってアクセス可能な他のマシン内に記憶されてよい。
コンピュータシステム自体は、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、テレビ、メインフレーム、サーバファーム、広く分散した一組の緩くネットワーク化されたコンピュータ、又は任意の他のデータ処理システム若しくはユーザーデバイスを含む様々な種類のものであってよい。コンピュータ及びネットワークは絶え間なく変化する性質のものであるため、本明細書に記載されるコンピュータシステムの例は、開示される技術を例示する目的のための具体例としてのみ意図されている。本明細書に記載のコンピュータシステムよりも多く又は少ない構成要素を有する、コンピュータシステムの多くの他の構成が可能である。
方法ではなく製造物品として、プロセッサによって実行可能なプログラム命令を非一時的コンピュータ可読媒体(computer readable medium、CRM)に格納してもよい。プログラム命令が実行されると、上述のコンピュータ実装された方法のうちの1つ以上を実施する。あるいは、プログラム命令は、非一時的なCRMに格納されてもよく、適切なハードウェアと組み合わされたときに、開示の方法を実施するコンピュータ実装されたシステムのうちの1つ以上の構成要素となってもよい。
下線付き及び/又はイタリック体の見出し及び副見出しは、便宜上のみのために使用され、主題技術を限定するものではなく、主題技術の説明の解釈と関連して言及されない。当業者に既知である、又は後に知られることとなる、本開示全体を通して記載される様々な実施態様の要素に対する全ての構造的及び機能的等価物は、参照により本明細書に明示的に組み込まれ、主題技術に包含されることが意図される。更に、本明細書に開示された何物も、そのような開示が上記の説明において明示的に記載されているかどうかにかかわらず、公開専用であることを意図するものではない。
前述の概念及び更なる概念のすべての組み合わせが、以下でより詳細に考察される(かかる概念が相互に矛盾しないことを提供する)は、本明細書に開示される発明の主題の一部であると考えられることを理解されたい。具体的には、本開示の終わりに現れる特許請求される主題のすべての組み合わせは、本明細書に開示される発明の主題の一部であると考えられる。

Claims (20)

  1. 光学系内の構造化照明顕微鏡(SIM)を使用して撮像された複数の画像を受信することであって、前記複数の画像の各画像は、第1の視野を有する、受信することと、
    ウィンドウを画定することであって、前記ウィンドウは、第2の視野が前記第1の視野よりも小さくなるように、前記第1の視野の一部分を表す前記第2の視野を画定する、画定することと、
    複数の画像の各画像に対して前記ウィンドウを移動させることと、
    前記複数の画像の各画像に対して前記ウィンドウを移動させながら、前記複数の画像の各画像から複数のサブタイルを撮像することであって、前記複数の複数のサブタイルの各サブタイルは、前記複数の画像の対応する画像の一部分を表し、前記複数のサブタイルの各サブタイルにより表される前記一部分は、前記複数のサブタイルのうちの前記サブタイルが撮像される瞬間に対応する位置で、前記第2の視野により画定される、撮像することと、
    前記複数のサブタイルの各サブタイルに関連付けられたパラメータを推定することであって、前記パラメータは、変調、角度、間隔、位相オフセット、及び位相偏位からなる群から選択される2つ以上のパラメータを含む、推定することと、
    前記複数のサブタイルの各サブタイルに関連付けられた半値全幅(FWHM)値を推定することと、
    推定された前記パラメータ及び前記FWHM値を所定のフォーマットで記憶することと、を含む、方法。
  2. 中心ウィンドウパラメータを推定することを更に含み、前記中心ウィンドウパラメータは、前記第1の視野内の中央領域に対応する、請求項1に記載の方法。
  3. 前記所定のフォーマットで記憶された推定された前記パラメータ及び前記FWHM値と推定された前記中心ウィンドウパラメータとの組み合わせに少なくとも部分的に基づいて、歪みモデルを推定することを更に含み、前記歪みモデルを前記推定することは、前記所定のフォーマットで記憶された推定された前記パラメータ及び前記FWHM値から、推定された前記中心ウィンドウパラメータを減算することを含む、請求項2に記載の方法。
  4. 前記歪みモデルを前記推定することは、二次曲面関数を前記減算結果にあてはめることを含む、請求項3に記載の方法。
  5. 推定された前記歪みモデルに対する決定係数を計算することと、
    計算した前記決定係数を所定の閾値と比較することと、により、推定された前記歪みモデルを検証することを更に含む、請求項3~4のいずれか一項以上に記載の方法。
  6. 推定された前記歪みモデルに少なくとも部分的に基づいて2次元画像を生成することを更に含み、前記2次元画像は、歪みが前記光学系内のどこで生じているかを示す表示を含む、請求項3~5のいずれか一項以上に記載の方法。
  7. 前記光学系内のSIMを使用して、後続の複数の画像を撮像することと、
    前記複数の画像に少なくとも部分的に基づいて高解像度画像を生成することであって、前記高解像度画像を前記生成することは、推定された前記歪みモデルに少なくとも部分的に基づいて、前記後続の複数の画像からのデータを調整することを含む、生成することと、を更に含む、請求項3~6のいずれか一項以上に記載の方法。
  8. 撮像された前記複数の画像は、光学標的の画像であり、前記光学標的は染料を含み、前記複数の画像を前記撮像することは、前記染料中で分子を励起することを含み、前記染料は、平均発光波長を有し、前記染料中の分子を励起することは、励起光を前記染料に向けて発することを含み、前記励起光は、前記染料の前記平均発光波長よりも実質的に長い波長を有する、請求項1~7のいずれか一項以上に記載の方法。
  9. コンピューティングシステムに、請求項1~8のいずれか一項以上に記載の方法を実行することによって、データを処理させるように構成されたコンテンツを含む、プロセッサ可読媒体。
  10. 装置であって、
    構造化照明を標的に向けて発する第1の光学アセンブリであって、前記第1の光学アセンブリは、
    発光アセンブリと、
    前記発光アセンブリによって発せられた光に第1のパターンを付与する第1の位相マスクと、
    前記発光アセンブリによって発せられた光に第2のパターンを付与する第2の位相マスクと、
    前記第1の位相マスク及び前記第2の位相マスクによって構造化された光の位相を調整する位相調整アセンブリと、を備える、第1の光学アセンブリと、
    第2の光学アセンブリであって、前記第2の光学アセンブリは、前記第1の光学アセンブリによって照明したときに、前記標的の画像を撮像する画像センサを備える、第2の光学アセンブリと、
    プロセッサであって、前記プロセッサは、
    前記画像センサを使用して撮像した複数の画像を受信することであって、前記複数の画像の各画像は、第1の視野を有する、受信することと、
    ウィンドウを画定することであって、前記ウィンドウは、第2の視野が前記第1の視野よりも小さくなるように、前記第1の視野の一部分を表す前記第2の視野を画定する、画定することと、
    複数の画像の各画像に対して前記ウィンドウを移動させることと、
    前記複数の画像の各画像に対して前記ウィンドウを移動させながら、前記複数の画像の各画像から複数のサブタイルを撮像することであって、前記複数の複数のサブタイルの各サブタイルは、前記複数の画像の対応する画像の一部分を表し、前記複数のサブタイルの各サブタイルにより表される前記一部分は、前記複数のサブタイルのうちの前記サブタイルが撮像される瞬間に対応する位置で、前記第2の視野により画定される、撮像することと、
    前記複数のサブタイルの各サブタイルに関連付けられたパラメータを推定することであって、前記パラメータは、変調、角度、間隔、位相オフセット、及び位相偏位からなる群から選択される2つ以上のパラメータを含む、推定することと、
    前記複数のサブタイルの各サブタイルに関連付けられた半値全幅(FWHM)値を推定することと、
    推定された前記パラメータ及び前記FWHM値を所定のフォーマットで記憶することと、を実行する、プロセッサと、を備える、装置。
  11. 前記プロセッサは更に、中心ウィンドウパラメータを推定し、前記中心ウィンドウパラメータは、前記第1の視野内の中央領域に対応する、請求項10に記載の装置。
  12. 前記プロセッサは更に、前記所定のフォーマットで記憶された推定された前記パラメータ及び前記FWHM値と推定された前記中心ウィンドウパラメータとの組み合わせに少なくとも部分的に基づいて、歪みモデルを推定する、請求項11に記載の装置。
  13. 前記プロセッサは更に、前記所定のフォーマットで記憶された推定された前記パラメータ及び前記FWHM値から、推定された前記中心ウィンドウパラメータを減算することを含むことにより、前記歪みモデルを推定する、請求項12に記載の装置。
  14. 前記プロセッサは更に、二次曲面関数を前記減算結果にあてはめることにより、前記歪みモードを推定する、請求項13に記載の装置。
  15. 前記プロセッサは更に、縮小推定量を用いることを含む、前記二次曲面関数を前記減算結果にあてはめることにより、前記歪みモードを推定する、請求項14に記載の装置。
  16. 前記プロセッサは更に、
    推定された前記歪みモデルに対する決定係数を計算することと、
    計算した前記決定係数を所定の閾値と比較することと、
    により、前記歪みモデルを検証する、請求項12~15のいずれか一項以上に記載の装置。
  17. 前記プロセッサは更に、
    位相オフセットを推定し、
    前記位相オフセットを、推定された前記歪みモデルに適用する、請求項12~16のいずれか一項以上に記載の装置。
  18. 前記プロセッサは更に、推定された前記歪みモデルに少なくとも部分的に基づいて2次元画像を生成し、前記2次元画像は、歪みが前記光学系内のどこで生じているかを示す表示を含む、請求項12~17のいずれか一項以上に記載の装置。
  19. 前記プロセッサは更に、
    前記光学系内のSIMを使用して、後続の複数の画像を撮像し、
    前記複数の画像に少なくとも部分的に基づいて高解像度画像を生成し、前記高解像度画像を前記生成することは、前記所定のフォーマットで記憶された推定された前記パラメータ及び前記FWHM値に少なくとも部分的に基づいて、前記後続の複数の画像からのデータを調整することを含む、請求項11~18のいずれか一項以上に記載の装置。
  20. 方法であって、
    光学系内の構造化照明顕微鏡(SIM)を使用して、複数の画像を撮像することであって、撮像された前記複数の画像は、光学標的の画像であり、前記光学標的は染料を含み、前記複数の画像を前記撮像することは、前記染料中の分子を励起することを含み、前記染料は平均発光波長を有し、前記染料中の分子を励起することは、励起光を前記染料に向けて発することを含み、前記励起光は、前記染料の前記平均発光波長よりも実質的に長い波長を有する、撮像することと、
    前記複数の画像において縞を観察することであって、観察された前記縞は、第1の色と関連付けられた第1の波長におけるものであり、観察された前記縞は、第2の色と関連付けられた第2の波長において光を発する光源により生成されている、観察することと、を含む、方法。
JP2021558678A 2019-12-06 2020-12-03 画像から値を推定する装置及び方法 Pending JP2023503742A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962944687P 2019-12-06 2019-12-06
US62/944,687 2019-12-06
PCT/US2020/062970 WO2021113421A1 (en) 2019-12-06 2020-12-03 Apparatus and method of estimating values from images

Publications (1)

Publication Number Publication Date
JP2023503742A true JP2023503742A (ja) 2023-02-01

Family

ID=73856366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558678A Pending JP2023503742A (ja) 2019-12-06 2020-12-03 画像から値を推定する装置及び方法

Country Status (12)

Country Link
US (2) US11768364B2 (ja)
EP (1) EP3931618A1 (ja)
JP (1) JP2023503742A (ja)
KR (1) KR20220110661A (ja)
CN (1) CN112925091A (ja)
AU (1) AU2020396959A1 (ja)
BR (1) BR112021019628A2 (ja)
CA (1) CA3135207A1 (ja)
IL (1) IL286665A (ja)
MX (1) MX2021010497A (ja)
TW (1) TW202138866A (ja)
WO (1) WO2021113421A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115711591B (zh) * 2022-09-29 2024-03-15 成都飞机工业(集团)有限责任公司 一种伽马因子获取方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771376B2 (en) * 1999-07-05 2004-08-03 Novartis Ag Sensor platform, apparatus incorporating the platform, and process using the platform
US7230695B2 (en) * 2004-07-08 2007-06-12 Asahi Glass Company, Ltd. Defect repair device and defect repair method
WO2006058187A2 (en) * 2004-11-23 2006-06-01 Robert Eric Betzig Optical lattice microscopy
US9541374B2 (en) 2007-12-31 2017-01-10 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
DE102008049878A1 (de) * 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
WO2010101894A2 (en) 2009-03-02 2010-09-10 President & Fellows Of Harvard College High resolution laser scanning microscopy imaging system and method using spatially patterned cumulative illumination of detection fields
US8941720B2 (en) * 2011-02-02 2015-01-27 National Tsing Hua University Method of enhancing 3D image information density
US9360660B2 (en) * 2012-05-24 2016-06-07 Northwestern University Methods and apparatus for laser scanning structured illumination microscopy and tomography
DE102012109143A1 (de) * 2012-09-27 2014-03-27 Osram Opto Semiconductors Gmbh Optoelektronisches Bauelement und Verfahren zum Herstellen eines optoelektronischen Bauelementes
CA2930802C (en) 2013-08-28 2017-01-17 Illumina, Inc. Optical alignment tool
US20160376247A1 (en) 2013-12-31 2016-12-29 Shanghai Institutes For Biological Sciences, Chinese Academy Of Sciences Novel temperature-sensitive fluorescent compound and application thereof
EP3403126B1 (en) * 2016-08-23 2020-12-30 The United States Of America, As Represented By The Sectretary, Department Of Health And Human Services Systems and methods for instant total internal reflection fluorescence/structured illumination microscopy
TWI772752B (zh) 2017-01-07 2022-08-01 美商伊路米納有限公司 光學偵測裝置以及方法
US10688488B2 (en) 2017-01-31 2020-06-23 Illumina, Inc. Fluidic devices and methods of manufacturing the same

Also Published As

Publication number Publication date
CA3135207A1 (en) 2021-06-10
EP3931618A1 (en) 2022-01-05
WO2021113421A1 (en) 2021-06-10
BR112021019628A2 (pt) 2022-06-21
CN112925091A (zh) 2021-06-08
IL286665A (en) 2021-10-31
KR20220110661A (ko) 2022-08-09
MX2021010497A (es) 2022-01-18
US20210173196A1 (en) 2021-06-10
TW202138866A (zh) 2021-10-16
US11768364B2 (en) 2023-09-26
US20230393379A1 (en) 2023-12-07
AU2020396959A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN114829906B (zh) 用于结构化照明显微术的系统和方法
US9086536B2 (en) Talbot imaging devices and systems
US11885953B2 (en) Apparatus and method of providing parameter estimation
US20180136481A1 (en) Illumination Apparatus Optimized for Synthetic Aperture Optics Imaging Using Minimum Selective Excitation Patterns
JP5120873B2 (ja) 分光計測装置及び分光計測方法
US9581548B2 (en) Methods for resolving positions in fluorescence stochastic microscopy using three-dimensional structured illumination
US20230393379A1 (en) Apparatus and method of estimating values from images
CN111801937B (zh) 用于使用结构化照射检测颗粒的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409