JP2023503738A - パラメータ推定を提供する装置及び方法 - Google Patents
パラメータ推定を提供する装置及び方法 Download PDFInfo
- Publication number
- JP2023503738A JP2023503738A JP2021557677A JP2021557677A JP2023503738A JP 2023503738 A JP2023503738 A JP 2023503738A JP 2021557677 A JP2021557677 A JP 2021557677A JP 2021557677 A JP2021557677 A JP 2021557677A JP 2023503738 A JP2023503738 A JP 2023503738A
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase
- images
- optical
- assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000005286 illumination Methods 0.000 claims abstract description 104
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims description 136
- 230000010363 phase shift Effects 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 51
- 239000000523 sample Substances 0.000 description 77
- 238000003384 imaging method Methods 0.000 description 56
- 239000012530 fluid Substances 0.000 description 21
- 239000011521 glass Substances 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 239000012472 biological sample Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000003908 quality control method Methods 0.000 description 12
- 230000001427 coherent effect Effects 0.000 description 9
- 239000000758 substrate Substances 0.000 description 9
- 230000004075 alteration Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 239000002773 nucleotide Substances 0.000 description 4
- 125000003729 nucleotide group Chemical group 0.000 description 4
- 108091028043 Nucleic acid sequence Proteins 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000001066 destructive effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 108091033319 polynucleotide Proteins 0.000 description 3
- 102000040430 polynucleotide Human genes 0.000 description 3
- 239000002157 polynucleotide Substances 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000012620 biological material Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 239000004005 microsphere Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000003954 pattern orientation Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108020004414 DNA Proteins 0.000 description 1
- 229920002307 Dextran Polymers 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920002401 polyacrylamide Polymers 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
方法を使用して、構造化照明顕微鏡(SIM)の光学系に対応するパラメータ値を提示するレポートを生成する。パラメータ値は、SIM光学系で撮像された画像セットに対応する実行された変調計算に少なくとも部分的に基づく。最小FWHMスライスは、第1の画像セット内の画像にわたる平均FWHM値に少なくとも部分的に基づいて特定される。パラメータ推定は、特定された最小FWHMスライスに実行される。最良の合焦パラメータは、実行された推定に少なくとも部分的に基づいて特定される。セット内の各画像に対して位相推定が実行される。変調計算は、特定された最良の合焦パラメータに少なくとも部分的に基づいて実行される。レポートは、実行された変調計算に少なくとも部分的に基づく。
Description
(関連出願)
本出願は、その開示が参照によりその全体が本明細書に組み込まれる、2019年12月6日に出願された、発明の名称が「Apparatus and Method of Providing Parameter Estimation」である米国仮特許出願第62/944,692号に対する優先権を主張するものである。
本出願は、その開示が参照によりその全体が本明細書に組み込まれる、2019年12月6日に出願された、発明の名称が「Apparatus and Method of Providing Parameter Estimation」である米国仮特許出願第62/944,692号に対する優先権を主張するものである。
このセクションで説明される主題は、単にこのセクションにおける言及の結果として、先行技術であると想定されるべきではない。同様に、このセクションで言及した問題、又は背景として提供された主題に関連する問題は、先行技術において以前に認識されていると想定されるべきではない。このセクションの主題は、単に、異なるアプローチを表し、それ自体はまた、特許請求される技術の実施態様に対応し得る。
構造化照明顕微鏡法(Structured illumination microscopy、SIM)は、複数の低解像度の元画像から超解像画像を再構成するコンピュータイメージングアルゴリズムの部類である。復元を確実に成功させるために、元の生画像は高品質でなければならない。高品質の生画像は、イメージング器具の光学性能の慎重な調整、較正、及び診断を必要とする。従来のイメージング器具の特徴に加えて、SIMイメージング光学素子は、更なる特性化及び検証を必要とする追加の構成要素を有する。
SIMシステム内のイメージング光学素子及び関連する光学構成要素を用いて品質管理及び較正を促進するためのシステム及び方法、特に、ヌクレオチド配列などの生体試料を撮影するために使用されるSIMシステムを提供することが所望され得る。本明細書では、既存の課題を克服し、本明細書に記載されるような利益を得るために、SIMを使用して撮像された画像を処理するためのデバイス、システム、及び方法が記載される。
実施態様は、複数の画像セットを受け取ることであって、複数の画像セットの各画像セットは、ある距離だけ被写体から離れて、光学系内の構造化照明顕微鏡(SIM)を使用して撮像された画像を含み、距離は、複数の画像セットの他の画像セットの画像が撮像された被写体からの距離とは異なり、複数の画像セットの各画像は、関連するチャネル及び関連する格子角度を有する、ことを含む方法に関連する。方法は、第1の画像セットを、第1の画像セットに対応する距離に少なくとも部分的に基づいて、複数の画像セットから分離することを更に含む。方法は、第1の画像セットの各画像に対応する半値全幅(full width at half maximum、FWHM)値を測定することを更に含む。方法は、第1の画像セットの画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することを更に含む。方法は、第1の画像セットに対応する、特定された最小FWHMスライスに対するパラメータ推定を実行することを更に含む。方法は、第1の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することを更に含む。方法は、第1の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づく、特定された最良の合焦パラメータを記憶することを更に含む。方法は、第1の画像セット内の各画像についての位相推定を実行することを更に含む。方法は、第1の画像セットに対応する特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することを更に含む。方法は、第1の画像セットに対応する実行された変調計算に少なくとも部分的に基づいて、光学系に対応するパラメータ値を提示するレポートを生成することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、第2の画像セットを、第2の画像セットに対応する距離に少なくとも部分的に基づいて、複数の画像セットから分離することを更に含む。方法は、第2の画像セットの各画像に対応する半値全幅(FWHM)値を測定することを更に含む。方法は、第2の画像セットの画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することを更に含む。方法は、第2の画像セットに対応する、特定された最小FWHMスライスにおいてパラメータ推定を実行することを更に含む。方法は、第2の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することを更に含む。方法は、第2の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づく、特定された最良の合焦パラメータを記憶することを更に含む。方法は、第2の画像セット内の各画像についての位相推定を実行することを更に含む。方法は、第2の画像セットに対応する特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することを更に含む。生成されたレポートは、第1の画像セットに対応する実行された変調計算及び第2の画像セットに対応する実行された変調計算の組み合わせに少なくとも部分的に基づく。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、第1の画像セット内の各画像に対応するFWHM値を測定することは、第1の画像セット内の各画像の中心推定ウィンドウ上で実行される。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、第1の画像セットに対応する特定された最小FWHMスライスにおけるパラメータ推定を実行することは、特定された最小FWHMスライスの中心推定ウィンドウ上で実行される。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、記憶された最良の合焦パラメータは、格子間隔又は格子角度のうちの一方又は両方を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、第1の画像セット内の各画像についての位相推定を実行することは、Wickerの位相推定を実行することを含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、生成されたレポートは、表の形態である。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、パラメータ指定の既定のセットに対して、レポート内のパラメータを比較することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、レポート内のパラメータが、パラメータ指定の既定のセットから逸脱していると判定することと、レポート内のパラメータがパラメータ指定の既定のセットから逸脱しているとの判定に少なくとも部分的に基づいて、光学系の1つ以上の特徴を調整することと、を更に含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像セットの各画像セットは12個の画像を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像の各画像は、第1の色チャネル及び第2の色チャネルからなる群から選択される関連付けられたチャネルを有し、複数の画像は、第1の色チャネルに対応する画像、及び第2の色チャネルに対応する画像を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、複数の画像セットの各画像セットは、第1の色チャネルに対応する画像及び第2の色チャネルに対応する画像を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、複数の画像の各画像は、第1の格子角度及び第2の格子角度からなる群から選択される関連する格子角度を有し、複数の画像は、第1の格子角度に対応する画像、及び第2の格子角度に対応する画像を含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、複数の画像セットの各画像セットは、第1の格子角度に対応する画像、及び第2の格子角度に対応する画像を含む。
本概要の先行する2つの段落のいずれかに記載されたものなどの方法の実施態様において、方法は、複数の画像を撮像することを更に含む。方法は、複数の画像を撮像している間に、光源を、1つ以上の位相マスクに対して第1の位置から第2の位置に移動させるか、又は1つ以上の位相マスクを、光源に対して第1の位置から第2の位置に移動させることのいずれか一方を更に含み、第1の位置は、第1の格子角度を提供し、第2の位置は、第2の格子角度を提供する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、第1の画像セット内の各画像に対応するFWHM値を測定することは、第1の画像セット内の各画像に対応する各格子角度についての未加工かつ未再構成のゼロ値位相を使用して実行される。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、生成されたレポートは、光学系内の対物レンズと被写体との間の距離、複数の画像の各画像に対応するチャネル、角度指数、変調、FWHM値、格子間隔、及び格子角度からなる群から選択されるパラメータ値を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、複数の画像セットを撮像することを更に含む。複数の画像セットを撮像することは、光学系の対物レンズが被写体から第1の距離に位置付けられている間に、第1の画像セットを撮像することを含む。複数の画像セットを撮像することは、光学系の対物レンズが被写体から第2の距離に位置付けられている間に、第2の画像セットを撮像することを更に含む。複数の画像セットを撮像することは、光学系の対物レンズが被写体から第3の距離に位置付けられている間に、第3の画像セットを撮像することを更に含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、変調計算は、第1の画像セット内の画像に対応する縞パターンの配向及び周期性を含む因子を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、被写体は、ヌクレオチドを含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、第1の画像セットの画像のペア間の位相シフトを計算することを更に含み、画像ペアの各画像ペアは、チャネル及び格子角度を共有する。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、生成されたレポートは、計算された位相シフトを含む。
本概要の2つの先行する段落のいずれかにおいて記載されたもののうちのいずれかなどの方法のいくつかの実施態様において、方法は、計算された位相シフトを、位相シフトの所定範囲に対して比較することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、計算された位相シフトのうちの少なくとも1つが、位相シフトの所定範囲外であると判定することを更に含む。方法は、計算された位相シフトのうちの少なくとも1つが位相シフトの所定範囲外であると判定することに応答して、位相シフトの所定範囲外である位相シフトを補正するゲイン値を計算することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、計算されたゲイン値に少なくとも部分的に基づいて新規位相シフト電圧を確立することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、新規位相シフト電圧を圧電素子に印加することであって、圧電素子は、光学系内で位相シフトを提供する、ことを更に含む。方法は、新規位相シフト電圧が圧電素子に印加された新しい画像セットを撮像することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、新しい画像セットの画像のペア間の位相シフトを計算することを更に含み、画像ペアの各画像ペアは、チャネル及び格子角度を共有する。方法は、新しい画像の計算された位相シフトを、位相シフトの所定範囲と比較することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、新しい画像の計算された位相シフトのうちの少なくとも1つが、位相シフトの所定範囲外であると判定することを更に含む。方法は、新しい画像の計算された位相シフトのうちの少なくとも1つが位相シフトの所定範囲外であると判定することに応答して、更新されたゲイン値を計算して、位相シフトの所定範囲外である新しい画像の位相シフトを補正することを更に含む。
本概要の先行する段落に記載されたものなどの方法のいくつかの実施態様において、方法は、計算された更新されたゲイン値に少なくとも部分的に基づいて、追加の新規位相シフト電圧を確立することを更に含む。
いくつかの実施態様では、装置は、構造化照明を標的に向けて発する第1の光学アセンブリを備える。第1の光学アセンブリは、発光アセンブリと、発光アセンブリによって発せられた光に第1のパターンを付与する第1の位相マスクと、発光アセンブリによって発せられた光に第2のパターンを付与する第2の位相マスクと、第1の位相マスク及び第2の位相マスクによって構造化された光の位相を調整する位相調整アセンブリと、を含む。装置は、第2の光学アセンブリを更に備える。第2の光学アセンブリは、第1の光学アセンブリによって照明したときに、標的の画像を撮像する画像センサを含む。装置は、プロセッサを更に備える。プロセッサは、複数の画像セットを受け取ることとなり、複数の画像セットの各画像セットは、ある距離だけ被写体から離れて、第2の光学アセンブリを使用して撮像された画像を含み、距離は、複数の画像セットの他の画像セットの画像が撮像された被写体からの距離とは異なり、複数の画像の各画像は、関連するチャネル及び関連する格子角度を有する。プロセッサは更に、第1の画像セットを、第1の画像セットに対応する距離に少なくとも部分的に基づいて、複数の画像セットから分離することとなる。プロセッサは更に、第1の画像セットの各画像に対応する半値全幅(FWHM)値を測定することとなる。プロセッサは更に、第1の画像セットの画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することとなる。プロセッサは更に、第1の画像セットに対応する、特定された最小FWHMスライスに対するパラメータ推定を実行することとなる。プロセッサは更に、第1の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することとなる。プロセッサは更に、第1の画像セットに対応する実行されたパラメータ推定に少なくとも部分的に基づく、特定された最良の合焦パラメータを記憶することとなる。プロセッサは更に、第1の画像セット内の各画像についての位相推定を実行することとなる。プロセッサは更に、第1の画像セットに対応する特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することとなる。プロセッサは更に、第1の画像セットに対応する実行された変調計算に少なくとも部分的に基づいて、光学系に対応するパラメータ値を提示するレポートを生成することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、標的は、試料容器を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、標的は、試料容器内の生体試料を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、発光アセンブリは、少なくとも2つのチャネルにおいて光を発することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、少なくとも2つのチャネルは、少なくとも2つの色を含み、少なくとも2つの色の各色は、少なくとも2つのチャネルの対応するチャネルに対応している。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、第1の光学アセンブリは、格子切り替え部を更に含み、格子切り替え部は、発光アセンブリから発せられた光を第1の位相マスク又は第2の位相マスクに向けて選択的に方向付けるか、又は許容する。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、格子切り替え部は、少なくとも1つの可動反射要素を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、格子切り替え部は、可動反射要素を支持する回転可能プレートを更に含み、回転可能プレートは回転可能であり、それによって反射要素を第1の位相マスク又は第2の位相マスクに関連して選択的に位置付け、それによって、発光アセンブリから発せられた光を第1の位相マスク又は第2の位相マスクに向かって選択的に方向付けるか、又は許容する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、位相調整アセンブリは、可動反射要素を含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、位相調整アセンブリは、可動反射要素を移動させるためのアクチュエータを更に含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、アクチュエータは、線形経路に沿って可動反射要素を移動させることとなる。
本概要の2つの先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、アクチュエータは圧電素子を含む。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、プロセッサは更に、第1の画像セットの画像のペア間の位相シフトを計算することとなり、画像ペアの各画像ペアがチャネル及び格子角度を共有する。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、計算された位相シフトを、位相シフトの所定範囲に対して比較することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、計算された位相シフトのうちの少なくとも1つが、位相シフトの所定範囲外であると判定することとなる。プロセッサは更に、計算された位相シフトのうちの少なくとも1つが位相シフトの所定範囲外であると判定したことに応答して、位相シフトの所定範囲外である位相シフトを補正するためのゲイン値を計算することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、プロセッサは更に、計算されたゲイン値に少なくとも部分的に基づいて新規位相シフト電圧を確立することとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、位相調整アセンブリは、第1の位相マスク及び第2の位相マスクによって構造化された光の位相を調整する圧電素子を含み、新規位相シフト電圧は、圧電素子を作動させて、値の所定範囲に近い位相シフトを提供する。
本概要の先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施態様において、装置は、予め形成された光学パターンを含む標的デバイスを更に備える。標的デバイスは、第1の光学アセンブリが、予め形成された光学パターンに向けて構造化照明を発することを可能にすることとなる。標的デバイスは、第1の光学アセンブリによって照明したときに、画像センサが、予め形成された光学パターンの画像を撮像することを更に可能にすることとなる。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、予め形成された光学パターンはドットのアレイを含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、アレイのドットは、不規則な配置で位置付けられている。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、アレイのドットは、少なくとも所定の最小間隔距離だけ互いから離間されている。
本概要の4つの先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施形態において、予め形成された光学パターンは、少なくとも1つの線ペアを含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、第1の位相マスクの第1のパターンは、第1のセットの線を含む。第2の位相マスクの第2のパターンは、第2のセットの線を含む。少なくとも1つの線ペアの線は、第1のセットの線の線に対して、かつ第2のセットの線の線に対してオフ-アングル(off-angle)であるように配置される。
本概要の6つの先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施形態において、標的デバイスは、第1の光学アセンブリからの光に応答して、蛍光を発することとなる流体を含有する流体充填チャネルを更に含む。
本概要の先行する段落に記載されたものなどの装置のいくつかの実施態様において、流体充填チャネルは、およそ2μm~およそ10μmの深さを有する。
本概要の6つの先行する段落のいずれかに記載されたもののうちのいずれかなどの装置のいくつかの実施形態において、流体充填チャネルは、およそ3μmの深さを有する。
いくつかの実施態様では、プロセッサ可読媒体は、本概要の先行する段落のいずれかに記載されている方法のうちの任意の1つ以上の方法を実行することによって、コンピューティングシステムにデータを処理させるように構成されているコンテンツを含む。
本明細書でより詳細に考察される前述の概念及び追加の概念の全ての組み合わせが(かかる概念が相互に矛盾しないならば)、本明細書に開示される発明の主題の一部と考えられ、本明細書に記載される便益及び利点を実現すると考えられることを理解されたい。具体的には、本開示の終わりに現れる特許請求される主題の全ての組み合わせは、本明細書に開示される発明の主題の一部であると考えられる。
1つ以上の実施態様の詳細が、添付の図面及び以下の説明に記載される。他の特徴、態様、及び利点は、本明細書、図面、及び特許請求の範囲から明らかになるであろう。
図の一部又は全ては、例示の目的のための概略図であることが認識されるであろう。図面は、特許請求の範囲の範囲又は意味を制限するために使用されないことを明確に理解した上で、1つ以上の実施態様を例示する目的で提供される。
いくつかの態様では、本明細書では、SIMシステム、特に、ヌクレオチド配列などの生体試料を撮影するために使用されるSIMシステム内のイメージング光学素子及び関連する光学構成要素を用いた品質管理及び較正を促進するための方法及びシステムが開示される。
ヌクレオチド配列などの生体試料を撮影する文脈において、SIMは、数百万もの試料点からの蛍光信号を有するフローセルから、密に充填された試料を分解する能力を提供し、それによって、処理に必要な試薬を低減し、画像処理スループットを増大させることができる。場合によっては、SIMは、隣接する光源を分解するためのアッベ回折限界よりも密に充填されている蛍光試料の解像を可能にし得る。生体試料は、フローセル上の規則的に間隔を空けたナノウェル内にあってもよく、又はランダムに分布したクラスタ内にあってもよい。隣接するナノウェルは、関連する光学系のアッベ回折限界よりも近接して位置付けられてもよい。本実施例は、フローセルのナノウェル上の生体試料に関する一方、本明細書の教示は、様々な他の構成の生体試料、及びSIMを用いる他の種類のシステムにおける生体試料に適用されてもよい。したがって、本明細書の教示は、生体試料の撮影に必ずしも限定されない。
I.序論
構造化照明は、通常の照明による場合の数倍の分解された照明源を有する画像を生成することができる。構造化照明の角度及び位相変位を変化させた複数の画像を使用して、密集した、言い換えれば、分解不能な高域空間周波数特徴部を、アッベ回折限界に違反することなく光学系によって感知され得る低周波数信号に変換する。この限界は、光及び光学の性質によってイメージングに物理的に課され、最終対物レンズの放射波長と開口数(numerical aperture、NA)との関数として表される。SIM再構成を適用することにより、複数の画像からの情報が空間領域からフーリエ領域に変換され、組み合わされ、処理され、次いで、改善された画像に再構成される。SIMシステム及び方法で処理されるより低解像度の元画像のセットは、「SIMスタック」として定義され得る。それぞれのSIMスタックにおける画像は、撮影された素材に対して、対応するz位置又は距離に位置する対物レンズにより取得され得る。同じ素材からいくつかのSIMスタックを取得することができ、それぞれのSIMスタックは、同じ素材の他のSIMスタックのz位置とは異なるz位置を有する。
SIMでは、格子が使用されるか、又は照明源と試料との間に干渉パターンが生成されて、正弦関数又は余弦関数に従って強度が変化するパターンなどの照明パターンを生成する。SIMの文脈では、「格子」は、構造化照明パターンを生成する表面に加えて、投影された構造化照明パターンを指すために使用される場合がある。あるいは、構造化照明パターンは、分離コヒーレントビームの部分間の干渉パターンとして生成されてもよい。
例えば、図1に示されるような試料平面上への構造化照明の投影は、試料中の蛍光(又は反射)源と照明パターンを混合して、モアレ縞又はエイリアシングと呼ばれる場合がある新たな信号を誘導する。新しい信号は、高域空間周波数情報を、アッベ回折限界に違反することなく撮像され得るより低域空間周波数にシフトさせる。
図1Aに示すような1D強度変調パターン、又は図1Bに示すような2D強度変調パターンで照射された試料の画像を撮像後、モアレ縞又はエイリアシングの複数の画像から、より高域空間周波数からより低域空間周波数にシフトされた情報を含有する新たな信号の一部分を抽出するために、連立一次方程式が解かれ、使用される。
連立一次方程式を解くために、段階的にシフト又は変位された構造化照明パターンを用いて、いくつかの画像が撮像される。角度ごとの様々な位相の画像が、分析のために撮像され、次いでフーリエ領域のシフト及び再結合のために帯域によって分離され得る。画像の数を増やすと、信号対雑音比を高めることによって、再構成された画像の品質を向上させることができる。しかしながら、計算時間もまた増加する場合がある。帯域分離された画像のフーリエ表示をシフトさせ、合計して、再構成和を生成する。最終的に、逆高速フーリエ変換(Fast Fourier Transform、FFT)が、再構成和から新しい高解像度画像を再構成する。
1D変調された照明の標準アルゴリズムは、2D変調された照明パターンと共に使用される場合、修正を伴い得る。これは、2D帯域分離を伴うことができる照明ピークの間隔及び照明ピーク角度の推定を含み得る。修正はまた、2次元の位相を推定するために、(1つの点ではなく)2つの点から作用するWicker位相推定も含み得る。1D干渉パターンは、図1Aに示すような1次元回折格子によって、又は2つのビームの干渉パターンの結果として生成されてもよい。場合によっては、試料の撮影中、試料の縞パターンの3つの画像が、様々なパターン相(例えば、0°、120°、及び240°)で取得され、その結果、試料上のそれぞれの場所がある照明強度の範囲にさらされる。この手順は、光軸を中心にパターン配向を2つ(例えば、45°、135°)又は3つ(例えば、0°、60°及び120°)の別個の角度に回転させることによって繰り返される。
図1Bは、2D回折格子によって、又は二対のコヒーレント光ビームの干渉によって生成され得る強度分布を示す。具体的には、2D構造化照明は、互いに重ね合わされた2つの直交する1D回折格子によって形成されてもよい。1D構造化照明パターンの場合と同様に、2D照明パターンは、2D回折格子の使用、又は規則的に反復する縞パターンを生成する二対のコヒーレント光ビーム間の干渉のいずれか一方によって生成され得る。2つの光ビームは、y軸に沿う強度パターン(水平輝線及び暗線)を生成し、それ故に、y対の入射ビームと称される。2つのより多くの光ビームは、x軸に沿う強度パターン(垂直輝線及び暗線)を生成し、x対の入射ビームと称される。y対の、x対の光ビームへの干渉は、2D照明パターンを生成する。図1Bは、このような2D照明パターンの強度分布を示す。
図1Cは、矩形の角部に位置付けられたフローセルの表面におけるナノウェル10の配置を示す。図1Cはまた、ナノウェル10上に投影された構造化照明の縞パターンの線20を示す。図示される例では、線20は、ナノウェル10のアライメントに対してわずかに角度的にオフセットされており、その結果、線20は、ナノウェル10の行ともナノウェル10の列とも完全に位置合わせされていない(又は平行ではない)。あるいは、線20は、ナノウェル10の列若しくは行のアライメントと、又はナノウェル10の他の空間的配置と任意の他の好適な空間的関係を有してもよい。1D構造化照明を使用するとき、照明のピーク角度は、画像が矩形の対角線方向に対向する角部を接続する直線に沿って撮影されるように選択される。例えば、3個の画像の2個のセット(合計6つの画像)を、+45度及び-45度の角度で撮影することができる。対角線に沿う距離が矩形の任意の2つの辺の間の距離よりも長くなるにつれて、より高い解像度画像が得られる。ナノウェル10は、六角形などの他の幾何学的配置に配置されてもよい。次いで、3個以上の画像を六角形の3個の対角線のそれぞれに沿って撮影することができ、例えば、9個又は15個の画像が得られる。
II.用語
構造化照明パラメータについて言及するために本明細書で使用する際、用語「周波数」は、周波数及び周期が逆相関するため、構造化照明パターン(例えば、縞パターン又は格子パターン)の縞と縞との間、又は線と線との間の間隔の逆数を指すものとする。例えば、縞と縞との間の間隔がより大きいパターンは、縞と縞との間の間隔がより小さいパターンよりも低い周波数を有することとなる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「位相」は、試料を照明する構造化照明パターンの位相を指すものとする。例えば、照明された試料に対して構造化照明パターンを並進移動させることによって、位相を変更することができる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「配向」は、構造化照明パターン(例えば、縞パターン又は格子パターン)とパターンによって照明される試料との間の相対的な配向を指すものとする。例えば、照明された試料に対して構造化照明パターンを回転させることによって、配向を変更することができる。
構造化照明パラメータについて言及するために本明細書で使用する際、用語「予測する」又は「予測している」は、(i)パラメータを直接測定することなくパラメータの(複数の)値を算出するか、又は(ii)パラメータに対応する撮像画像からパラメータを推定するかのいずれか一方を意味するものとする。例えば、構造化照明パターンの位相は、時間t2及び時間t3において(例えば、撮像された位相画像から)直接測定又は推定された位相値間の補間によって、時間tlにおいて予測され得る(t2<tl<t3)。別の例として、構造化照明パターンの周波数は、時間t2及び時間t3において、(例えば、撮像された位相画像から)直接測定又は推定された周波数値から外挿することによって、時間tlにおいて予測され得る(t2<tl<t3)。
回折格子によって回折された光について言及するために本明細書で使用する際、用語「次」又は「次数」は、強め合いの干渉に対する回折格子の隣接するスリット又は構造からの光の経路長差を表す整数の波長の数を意味するものとする。反復する一連の格子構造又は他のビーム分割構造上の入射光ビームの相互作用は、光ビームの一部分を元のビームから予測可能な角度方向に再方向付けるか又は回折することができる。用語「0次」又は「0次最大」は、回折格子によって発せられた回折のない中央の明るい縞を指すものとする。用語「1次」は、経路長差が±1波長である、0次の縞の両側に回折される2つの明るい縞を指すものとする。より高次の次数は、元のビームからより大きい角度に回折される。格子の特性は、様々な次数に方向付けられるビーム強度の大きさを制御するように操作され得る。例えば、位相格子は、非0次の送信を最大化し、0次ビームの送信を最小化するように作製されてもよい。
本明細書で使用する際、用語「光学伝達関数」、又は省略形「OTF」は、空間周波数の関数としてのイメージングシステムの応答を説明する複素数値伝達関数を意味するものとする。OTFは、点広がり関数のフーリエ変換から導出することができる。本明細書に記載された例では、OTFの振幅部分のみが重要である。OTFの振幅部分は、「変調伝達関数」と称されてもよく、又は省略形「MTF」と称されてもよい。
試料について言及するために本明細書で使用する際、用語「特徴」は、相対場所に従って他の点又は他のエリアと区別することができるパターンの点又はエリアを意味するものとする。個々の特徴は、特定の種類の1つ以上の分子を含むことができる。例えば、特徴は、特定の配列を有する単一の標的核酸分子を含むことができ、あるいは特徴は、同一の配列(及び/又はその相補的配列)を有するいくつかの核酸分子を含むことができる。
本明細書で使用する際、用語「xy平面」は、デカルト座標系における直線軸x及びyによって定義される2次元エリアを意味するものとする。検出器及び検出器によって観察される物体に関連して使用される場合、ビーム軸、又は検出器と検出されている物体との間の観測方向に直交しているとしてエリアを更に指定することができる。
本明細書で使用する際、用語「z座標」は、デカルト座標系におけるxy平面に直交する軸線に沿う点、線、又はエリアの場所を特定する情報を意味するものとする。特定の別の実施態様では、z軸は、検出器によって観察される物体の領域に直交する。例えば、光学系の焦点の方向は、z軸に沿って指定されてもよい。
本明細書で使用する際、用語「光学的に結合された」は、別の要素に直接的に又は間接的に光を付与するように適合されている1つの要素を指すものとする。
本明細書で使用する際、単数形で記載され、かつ単語「a」又は「an」に続く要素又は工程は、かかる除外が明示的に記載されていない限り、複数のこれらの要素又は工程を除外しないものとして理解されるべきである。更に、「1つの実施態様」への言及は、また記載された特徴を組み込む追加の実施態様の存在を除外するものとして解釈されることを意図するものではない。更に、反対に明示的に述べられていない限り、特定の特性を有する要素又は複数の要素を「含む」又は「有する」実施態様は、それらがその特性を有するかどうかにかかわらず、追加の要素を含み得る。
本明細書全体を通して使用される用語「実質的に」、「約」、及び「およそ」は、処理のばらつきなどによる小さな変動を説明及び考慮するために使用される。例えば、それらの用語は、±5%以下を、±2%以下など、±1%以下など、±0.5%以下など、±0.2%以下など、±0.1%以下など、±0.05%以下などとして称することができる。
用語「基づいて」は、「基づいて」いるとして示されているものによって少なくとも部分的に何かが決定されることを意味すると理解されるべきである。何かが何か他のものによって必ずしも完全に決定されなければならないことを示すために、それが完全に決定されるいかなるものに排他的に基づいているとして記載されている。
本明細書で使用する際、用語「ヌクレオチド配列」又は「ポリヌクレオチド配列」は、文脈に応じて、ポリヌクレオチド分子、並びに分子の下にある配列を含むように読み取られるべきである。ポリヌクレオチドの配列は、特定の物理的特性を示す情報を含有する(又はコードする)ことができる。
III.イメージングシステムの構成要素及び配置の例
SIMシステムのいくつかの実施態様では、線形偏光ビームは、ビームを2つ以上の別個の次数に分割する光学ビームスプリッタによって方向付けられ、2つ以上の別個の次数は、合成され、正弦波強度変動を有する干渉縞パターンとして、撮影された試料上に投影され得る。分割されたビームは、試料平面における最大変調を得るためにパワーが均等である。回折格子は、高度の干渉性及び安定した伝搬角度を有するビームを生成することができるビームスプリッタの例である。2つのかかるビームが組み合わされると、かかるビーム間の干渉は、干渉ビーム間の角度を含む因子によって間隔が決定される均一な規則的な反復縞パターンを作り出すことができる。縞の周期性(fringe periodicity、FP)と入射角(Θ)と光の波長(λ)との間の関係は、以下の式(I)で表すことができる。
FP=λ÷2sin(θ)、 (I)
縞の周期(FP)及び光の波長(λ)は、同じ単位(例えば、nm)であり、Θは、ラジアンで表される面法線に対する入射角である。
FP=λ÷2sin(θ)、 (I)
縞の周期(FP)及び光の波長(λ)は、同じ単位(例えば、nm)であり、Θは、ラジアンで表される面法線に対する入射角である。
図2~図4Bは、SIMイメージングシステムが取り得る様々な形態の例を示す。これらのシステムは、主に、1D照明パターンを生成するSIMイメージングシステムとの関連で説明されているが、本明細書に開示された技術は、より高次元の照明パターン(例えば、2次元格子パターン)を生成するSIMイメージングシステムが実装されてもよいことに留意されたい。
図2は、本明細書に記載されるいくつかの実施態様による、構造化照明パラメータの予測を実装することができるSIMイメージングシステム100を示す。例えば、システム100は、空間的に構造化された励起光を利用して生体試料を撮影する構造化照明蛍光顕微鏡システムであってもよい。
図2の例では、発光体150は、コリメーションレンズ151によってコリメートされた光ビームを出力するように構成されている。コリメートされた光は、光構造化光学アセンブリ155によって構造化(パターン化)され、対物レンズ142を介してダイクロイックミラー160によって、移動ステージ170上に位置付けられている試料容器110の試料に方向付けられる。蛍光試料の場合、試料は構造化励起光に応答して蛍光を発し、得られた光は、対物レンズ142によって収集され、蛍光を検出するためにカメラシステム140の画像センサに向けられる。
光構造化光学アセンブリ155は、試料容器110の試料に投影される光のパターン(例えば、縞、典型的には正弦波)を生成するための1つ以上の光回折格子又は他のビーム分割要素(例えば、ビームスプリッタキューブ又はプレート)を含む。回折格子は、1次元透過型格子若しくは1次元反射型格子又は2次元透過型格子若しくは2次元反射型格子であってもよい。回折格子は、正弦波振幅格子又は正弦波位相格子であってもよい。いくつかの変形例では、光構造化光学アセンブリ155は、一対の位相マスクを含み、それぞれの位相マスクは、ガラスにエッチングされた目盛りを有するガラス片を含む。
いくつかの実施態様では、(複数の)回折格子は、構造化照明パターンの配向を変更するための回転ステージを利用しなくてもよい。他の実施態様では、(複数の)回折格子は、回転ステージに取り付けられてもよい。いくつかの実施態様では、回折格子は、イメージングシステムの動作中に固定されてもよい(すなわち、回転運動又は線形運動を必要としない)。例えば、以下に更に記載される特定の実施態様では、回折格子は、互いに垂直に配向された2つの固定された1次元透過回折格子(例えば、水平回折格子及び垂直回折格子)を含んでもよい。
図2の例に示されるように、光構造化光学アセンブリ155は、0次を含む全ての他の次数を遮断又は最小化しながら、1次の回折光ビームを出力する。しかしながら、代替的な実施態様では、更なる次数の光を試料に投影することができる。
それぞれの撮影周期中、イメージングシステム100は、光構造化光学アセンブリ155を利用して、様々な位相で複数の画像を取得し、縞パターンは、変調方向に横方向に(例えば、x-y平面内で、かつ縞に対して垂直に)変位される。この手順は、光軸を中心に(すなわち、試料のx-y平面に対して)パターン配向を回転させることによって、1回以上繰り返される。次いで、撮像された画像をコンピュータ的に再構成して、より高い解像度画像(例えば、個々の画像の横方向空間分解能の約2倍を有する画像)を生成し得る。
システム100では、発光体150は、非コヒーレント発光体(例えば、1つ以上の励起ダイオードによって出力された光ビームを発する)、又は1つ以上のレーザ若しくはレーザーダイオードによって出力される光のエミッタなどのコヒーレント発光体であってもよい。システム100の例において示されるように、発光体150は、出力される光学ビームを案内するための光ファイバ152を含む。しかしながら、発光体150の他の構成が使用されてもよい。マルチチャネルイメージングシステム(例えば、光の複数の波長を利用するマルチチャネル蛍光顕微鏡)において構造化照明を利用する実施態様では、光ファイバ152は、複数の異なる光源(図示せず)に光学的に結合することができ、各光源は様々な波長の光を発する。システム100は、いくつかの実施態様では、単一の発光体150を有するものとして図示されているが、複数の発光体150を備えてもよい。例えば、複数の発光体は、以下で更に説明する複数のアームを利用する構造化照明イメージングシステムの場合に備えられてもよい。
いくつかの実施態様では、システム100は、構造化ビームの形状及び経路を調整するために、z軸に沿って関節運動するレンズ素子を含んでもよい投影レンズ156を含んでもよい。例えば、投影レンズ156の構成要素は、容器110内の試料の試料の厚さの範囲(例えば、様々なカバーガラスの厚さ)を考慮するように関節運動してもよい。
システム100の例では、流体送達モジュール又はデバイス190は、試薬の流れ(例えば、蛍光標識されたヌクレオチド、緩衝剤、酵素、開裂試薬など)を試料容器110及び廃棄物バルブ120に向けることができ(、かつ通過させることができ)る。試料容器110は、試料が上に提供される1つ以上の基材を含んでもよい。例えば、多数の様々な核酸配列を分析するためのシステムの場合、試料容器110は、配列決定される核酸が上で結合、付着、又は会合する1つ以上の基材を含んでもよい。基材としては、例えば、ガラス表面、プラスチック表面、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルアミドゲル、金表面、及びシリコンウェハなどの、核酸が付着され得る任意の不活性基材又は基質が挙げられ得る。いくつかの用途では、基材は、試料容器110にわたってマトリックス又はアレイに形成された複数の場所におけるチャネル内又は他のエリア内にある。システム100はまた、試料容器110内の流体の状態の温度を任意に調節し得る温度ステーションアクチュエータ130及び加熱器/冷却器135を備えてもよい。
特定の実施態様では、試料容器110は、透明カバープレート、基材、及び透明カバープレートと基材との間に収容された液体を含むパターン化フローセルとして実装されてもよく、生体試料は、透明カバープレートの内側表面又は基材の内側表面に位置してもよい。フローセルは、多数(例えば、何千個、何百万個、若しくは何十億個)の(ナノウェルとも称される)ウェル、又は基材内に、画定されたアレイ(例えば、六角形アレイ、矩形アレイなど)にパターン化されている領域を含んでもよい。各領域は、例えば、合成による配列決定を使用して配列決定され得るDNA、RNA、又は別のゲノム材料などの生体試料のクラスタ(例えば、モノクローナルクラスタ)を形成してもよい。フローセルは、多数の離間したレーン(例えば、8つのレーン)に更に分割されてもよく、各レーンは、クラスタの六角形アレイを含む。
試料容器110は、対物レンズ142に対する試料容器110の移動及び位置合わせを提供するように、試料ステージ170に取り付けられてもよい。試料ステージは、3次元のいずれかで移動することを可能にする1つ以上のアクチュエータを有してもよい。例えば、デカルト座標系の観点から、ステージが対物レンズに対してx方向、y方向、及びz方向に移動することを可能にするアクチュエータが提供されてもよい。これにより、試料容器110上の1つ以上の試料の場所が対物レンズ142と光学的に位置合わせされて位置付けられることを可能にし得る。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物レンズ、イメージングシステムのいくつかの他の構成要素、又は前述の任意の組み合わせを移動させることによって達成され得る。更なる実施態様はまた、静止試料の上でイメージングシステム全体を移動させることを含んでもよい。あるいは、試料容器110は、撮影中に固定されてもよい。
いくつかの実施態様では、(典型的にはz軸又はz方向と称される)焦点方向における試料容器110に対する光学構成要素の位置決めを制御するように、フォーカス(z軸)構成要素175が含まれてもよい。フォーカス構成要素175は、光学ステージ若しくは試料ステージ又はその両方に物理的に連結された1つ以上のアクチュエータを含んで、光学構成要素(例えば、対物レンズ142)に対して試料ステージ170上の試料容器110を移動させて、撮影動作のための適切な焦点合わせを提供することができる。例えば、アクチュエータは、例えば、ステージとの直接的又は間接的な、機械的接続、磁気的接続、流体的接続、若しくは他の接続又は接触によって、それぞれのステージに物理的に連結されてもよい。1つ以上のアクチュエータは、試料ステージを同一の平面内に維持しながら(例えば、光軸に垂直なレベル又は水平姿勢を維持しながら)、z方向にステージを移動させるように構成されてもよい。1つ以上のアクチュエータはまた、ステージを傾けるように構成されてもよい。これは、例えば、試料容器110が、表面における任意の傾斜を考慮するように動的に平坦化され得るようになされる。
撮影されている試料の場所における試験試料から生じる構造化された光は、ダイクロイックミラー160によってカメラシステム140の1つ以上の検出器に向けられ得る。いくつかの実施態様では、1つ以上の発光フィルタを有するフィルタ切り替えアセンブリ165が含まれてもよく、1つ以上の発光フィルタを使用して、特定の発光波長を通過させ、他の発光波長を遮断(又は反射)することができる。例えば、1つ以上の発光フィルタを使用して、イメージングシステムの異なるチャネル間を切り替えることができる。特定の実施態様では、発光フィルタは、様々な波長の発光をカメラシステム140の様々な画像センサに方向付けるダイクロイックミラーとして実装されてもよい。
カメラシステム140は、試料容器110の撮影(例えば、配列決定)を監視及び追跡するための1つ以上の画像センサを含んでもよい。カメラシステム140は、例えば、電荷結合素子(charge-coupled device、CCD)画像センサカメラとして実装されてもよいが、他の画像センサ技術(例えば、アクティブピクセルセンサ)が使用されてもよい。カメラシステム140及び関連する光学構成要素は、図2の試料容器110の上方に位置付けられるものとして示されているが、1つ以上の画像センサ又は他のカメラ構成要素は、本明細書の教示を考慮することで当業者には明らかとなるであろう多数の他の方法でシステム100に組み込まれてもよい。例えば、1つ以上の画像センサは、試料容器110の下に位置付けられてもよく、又は試料容器110内に一体化されてもよい。
カメラシステム140からの出力データ(例えば、画像)は、ソフトウェアアプリケーションとして実装され得るリアルタイムSIMイメージング部品191に伝達されてもよく、このソフトウェアアプリケーションは、以下で更に説明するように、各撮影周期に撮像された画像を再構成して、より高い空間分解能を有する画像を生成することができる。再構成された画像は、経時的に予測される構造照明パラメータの変化を考慮することができる。加えて、SIMイメージング部品191を使用して、予測SIMパラメータを追跡し、かつ/又は以前の推定及び/若しくは予測SIMパラメータを与えたSIMパラメータを予測することができる。
コントローラ195は、システム100の多様な光学構成要素を同期させることを含む、構造化照明イメージングシステム100の動作を制御するために提供され得る。コントローラを実装して、例えば、光構造化光学アセンブリ155の構成(例えば、回折格子の選択及び/又は線形並進)、投影レンズ156の動き、フォーカス構成要素175の作動、ステージの移動、及び撮影操作などのシステム動作の態様を制御することができる。コントローラを実装して、システム100のハードウェア要素を制御して、経時的な構造化照明パラメータの変化を補正することもできる。例えば、コントローラは、光構造化光学アセンブリ155、移動ステージ170、又はシステム100のいくつかの他の要素の構成を制御するモータ又は他のデバイスに制御信号を送信して、経時的な構造化照明の位相、周波数、及び/又は配向の変化を補正又は補償するように構成されてもよい。実施態様では、これらの信号は、SIMイメージング部品191を使用して予測される構造化照明パラメータに従って送信され得る。いくつかの実施態様では、コントローラ195は、様々な時間及び/又は試料位置に対応する、予測及び又は推定された構造化照明パラメータを記憶するためのメモリを含み得る。
様々な実施態様では、コントローラ195は、ハードウェア、アルゴリズム(例えば、機械実行可能命令)、又は前述の組み合わせを使用して実装されてもよい。例えば、いくつかの実施態様では、コントローラは、1つ以上のCPU、GPU、又は関連するメモリを有するプロセッサを含み得る。別の例として、コントローラは、コンピュータプロセッサ及び機械可読命令を記憶する非一時的コンピュータ可読媒体などの動作を制御するためのハードウェア又は他の回路構成を備えてもよい。例えば、この回路構成は、以下:フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)、特定用途向け集積回路(application specific integrated circuit、ASIC)、プログラマブル論理デバイス(programmable logic device、PLD)、複合プログラマブル論理デバイス(complex programmable logic device、CPLD)、プログラマブル論理アレイ(programmable logic array、PLA)、プログラマブルアレイ論理(programmable array logic、PAL)、及び他の同様の処理デバイス又は回路構成のうちの1つ以上を含んでもよい。更に別の例として、コントローラは、この回路構成と1つ以上のプロセッサとの組み合わせを含んでもよい。
図3は、(例えば、光学アセンブリ155の代わりに)システムに組み込むことができる代替的な光学アセンブリ200の例を示す。本例の光学アセンブリ200は、発光アセンブリ210と、固定反射要素220と、位相マスクアセンブリ230と、格子切り替え部250と、調整可能な反射要素270と、投影レンズアセンブリ280と、を含む。発光アセンブリ210は、コヒーレント光源(例えば、少なくとも1つのレーザなど)及び一対のアナモフィックプリズム、非コヒーレント光源及びコリメータ、又は本明細書の教示を考慮することで当業者には明らかとなるであろう任意の他の好適な構成要素が挙げられるが、これらに限定されない多様な構成要素を含み得る。いくつかの変形例では、発光アセンブリ210は、2つ以上の別個のチャネル(例えば、青色チャネル及び緑色チャネル)を介して光を発するように動作可能である。2つ以上の別個のチャネルで光が発せられる変形例では、システム100は、それぞれの画像センサが対応する画像センサに特化するように、2つ以上の対応する画像センサを含み得る。また、いくつかの変形例では、発光アセンブリ210は、(例えば、高速シャッタなどを使用して)所定の周波数でパルスで光を発するように動作可能である。
本実施例の反射要素220は、光学アセンブリ200の他の構成要素に対して位置が固定されたミラーを含む。以下により詳細に記載されるように、反射要素220は、光学アセンブリ200の動作中に、発光アセンブリ210から発せられた光を位相マスクアセンブリ230及び格子切り替え部250に向けて反射するように位置付けられ、構成されている。
図4で最も良く分かるように、本実施例の位相マスクアセンブリ230は、ベース240に固定的に取り付けられた一対の三角形のガラス要素232、242を含む。それぞれのガラス要素232、242は、ガラス要素232、242の1つの側に沿う反射体234、244を含む。それぞれのガラス要素232、242はまた、ガラス要素232、242の別の側に沿う位相マスク236、246を含む。本実施例では、それぞれの位相マスク236、246は、ガラス要素232、242のガラスにエッチングされた格子又は縞パターンを形成する目盛(例えば、平行スリット又は溝など)を含む。目盛間隔は、好適な角度で光を回折するように選択され、システム100の操作のために撮影された試料の最小解像可能フィーチャサイズに調整されてもよい。以下により詳細に記載されるように、これらの位相マスク236、246は、光学アセンブリ200の動作中にモアレ縞又エイリアシングを生成するように構成されている。本実施例では、位相マスク236、246は、ガラス要素232、242のガラス内のエッチングされた目盛によって形成されるが、位相マスク236、246が形成され得る他の好適な方法が、本明細書の教示を考慮することで当業者には明らかとなろう。光学アセンブリ200の動作中、位相マスクアセンブリ230全体は、光学アセンブリ200の他の構成要素に対して静止したままである。
システムの効率を改善するために、各位相マスク236、246によって出力される0次ビーム及び他の全ての高次の回折ビームは、阻止されてもよい(すなわち、試料110に投影された照明パターンからフィルタによって除去されてもよい)。例えば、次数フィルタなどのビーム遮断要素(図示せず)が、位相マスクアセンブリ230の後の光路に挿入されてもよい。いくつかの実施態様では、回折格子位相マスク236、246は、ビームを1次のみに回折するように構成されてもよく、0次(非回折ビーム)は、いくつかのビーム遮断要素によって遮断されてもよい。
図3に示すように、本実施例の格子切り替え部250は、シャフト254に取り付けられたプレート252を含む。シャフト254は、シャフト254及びプレート252を軸線Aを中心に回転させるように動作可能なモータ256と更に連結されており、プレート252の一端260は、一対のミラー262、264を含み、それぞれのミラー262、264はプレート252の反対側に取り付けられている。プレート252の他端266は、後述するように光が通過することを可能にする開口部268を画定する。いくつかの変形例では、モータ256はステッピングモータである。あるいは、モータ256は、任意の他の好適な形態をとることができ、モータ256は、任意の他の好適な回転運動供給源で置換されてもよい。図5A~図5Dに示されるように、以下により詳細に記載されるように、モータ256を作動させて、軸線Aを中心にシャフト254及びプレート252を回転させることによって、第1の状態(図5A~図5B)と第2の状態(図5C~図5D)との間で格子切り替え部250を移行させることができる。格子切り替え部250が第1の状態にあるとき、格子切り替え部250及び位相マスクアセンブリ230は、第1の格子角度を提供することができる。格子切り替え部250が第2の状態にあるとき、格子切り替え部250及び位相マスクアセンブリ230は、第2の格子角度を提供することができる。
図3にも示されるように、本実施例の調整可能な反射要素270は、アクチュエータ272が線形経路LP1に沿って反射要素270を駆動するように動作可能であるように、アクチュエータ272と連結されているミラーを含む。この実施例では、線形経路LP1は、軸線Aと平行である。いくつかの変形例では、アクチュエータ272は、圧電素子を含む。別の例として、アクチュエータ272は、ソレノイドを含んでもよい。いくつかの他の変形例では、アクチュエータ272は、回転運動を線形運動に変換するように動作可能な機械的アセンブリ(例えば、ラック及びピニオン又はウォームギア及びナットなど)と連結されているステッピングモータ又は他の回転駆動源を含む。以下でより詳細に記載されるように、アクチュエータ272が線形経路LP1に沿って反射要素270の位置を変更すると、アクチュエータ272及び反射要素270は、光学アセンブリ200を通って伝達される光に位相変調を提供するように共に動作可能である。換言すれば、アクチュエータ272及び反射要素270は共に位相調整アセンブリを提供することができる。
例として、アクチュエータ272は、以下により詳細に記載されるように、アクチュエータ272の動作中、およそ5μmの可動域にわたって反射要素270を駆動するように動作可能であってもよく、この動作により、およそ240度の縞の移動をもたらし得る。あるいは、アクチュエータ272は、アクチュエータ272の動作中に、およそ2μm~およそ10μmの範囲の可動域にわたって反射要素270を駆動するように動作可能であってもよい。以下により詳細に記載されるように、アクチュエータ272は、線形経路に沿う可動域にわたって2つ、3つ、又はそれ以上の様々な位置で反射要素の動きを停止させるように駆動されてもよい。
投影レンズアセンブリ280は、本明細書の教示を考慮することで当業者には明らかとなるように、1つ以上のレンズ素子(例えば、チューブレンズ)及び様々な他の構成要素を含んでもよい。投影レンズアセンブリ280を通過した光は、最終的に、試料容器110(例えば、フローセルなど)に到達することができる。場合によっては、これは、試料容器110内の生体材料を蛍光発光させることができ、そのような蛍光は、生体材料の分析を可能にする画像センサ(例えば、カメラシステム140の画像センサ)によって撮影される。本実施例の投影レンズアセンブリ280は、投影レンズアセンブリ280の少なくとも一部分を線形経路LP2に沿って駆動するように動作可能なアクチュエータ282と連結されている。いくつかの変形例では、アクチュエータ282は、圧電素子を含む。別の例として、アクチュエータ282は、ソレノイドを含んでもよい。いくつかの他の変形例では、アクチュエータ282は、回転運動を線形運動に変換するように動作可能な機械的アセンブリ(例えば、ラック及びピニオン又はウォームギア及びナットなど)と連結されているステッピングモータ又は他の回転駆動源を含む。以下でより詳細に記載されるように、アクチュエータ282は、線形経路LP2に沿って投影レンズアセンブリ280の少なくとも一部分の位置を変更することにより、アクチュエータ282及び投影レンズアセンブリ280は、SIM格子焦点面を調整するように共に動作可能である。
上述のように、本実施例のシステム100は、コントローラ195を含む。コントローラ195を使用して、光学アセンブリ200及びシステム100の多様な構成要素を同期させることなど、光学アセンブリ200及びシステム100の他の機構の動作を制御することができる。コントローラ195を実装して、例えば、モータ256の作動、アクチュエータ272の作動、アクチュエータ282を介する投影レンズアセンブリ280の1つ以上の要素の移動、フォーカス構成要素175の作動、カメラシステム140の作動、及び他の撮影動作などのシステム動作の態様を制御することができる。コントローラを実装して、システム100のハードウェア要素を制御して、経時的な構造化照明パラメータの変化を補正することもできる。例えば、コントローラは、制御信号をデバイス(例えば、モータ256、アクチュエータ272など)に送信して、経時的な構造化照明の位相、周波数、及び/又は配向の変化を補正又は補償するように構成されてもよい。実施態様では、これらの信号は、SIMイメージング部品を使用して予測される構造化照明パラメータに従って送信され得る。いくつかの実施態様では、コントローラは、様々な時間及び/又は試料位置に対応する、予測及び推定された構造化照明パラメータを記憶するためのメモリを含んでもよい。
図5A~図5Dは、多様な動作段階における光学アセンブリ200を示す。図5Aに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。この段階で、格子切り替え部250は、反射要素220から反射された光がミラー262によって更に反射されるように、第1の状態にある。ミラー262によって反射された光は、ガラス要素242を通過し、位相マスク246に向けて光を反射する反射体244に到達する。光が位相マスク246を通過すると、位相マスク246は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、プレート252の開口部268を通過し、反射要素270に到達し、その後、構造化された光を投影レンズアセンブリ280に向けて反射させる。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の第1の画像を撮像する。
第1の画像が図5Aに示される光学系200の構成で取得された後、アクチュエータ272は、線形経路LP1上の第1の位置から線形経路LP1上の第2の位置へ反射要素270を駆動するように作動され、それにより、光学系200は次に図5Bに示される構成となる。図5Bに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。この段階で、格子切り替え部250は、反射要素220から反射された光がミラー262によって更に反射されるように、第1の状態にある。ミラー262によって反射された光は、ガラス要素242を通過し、位相マスク246に向けて光を反射する反射体244に到達する。光が位相マスク246を通過すると、位相マスク246は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、プレート252の開口部268を通過し、反射要素270に到達し、その後、構造化された光を投影レンズアセンブリ280に向けて反射させる。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Aに示す段階と図5Bに示す段階との間の唯一の違いは、反射要素270が第2の状態(すなわち、線形経路LP1に沿う第2の位置)にあることである。したがって、この動作段階の間に反射要素270が異なる位置にあるため、図5Bに示す構成の光学アセンブリ200で撮像された画像は、図5Aに示す構成の光学アセンブリ200で撮像された画像とは異なる位相を有することとなる。
本明細書に記載されたプロセスのいくつかの変形例では、アクチュエータ272は、格子切り替え部250が第1の状態にある間に、反射要素270を線形経路LP1に沿う第3の位置に駆動するように作動された後、図5Cに示され、以下に記載された段階に進む。このようなプロセスの変形例では、カメラシステム140は、格子切り替え部250が第1の状態にある間に3つの画像を撮像することができ、これらの画像のそれぞれは、線形経路LP1に沿う反射要素270のそれぞれの位置に基づいて異なる位相を表す。当然ながら、アクチュエータ272はまた、反射部材270を第4の位置、第5の位置などに駆動するように作動されてもよく、それにより、格子切り替え部250が第1の状態にある間に、任意の所望の数の位相が画像の撮像中に用いられ得る。
所望の数の画像が、図5A~図5Bに示された第1の状態の格子切り替え部250により取得された後、モータ256が作動されて、シャフト254を軸線Aを中心に回転させ、それによって軸線Aを中心にプレート252を回転させて、格子切り替え部250を図5C~図5Dに示される第2の状態に移行させる。図5Cに示す段階では、アクチュエータ272はまた、反射要素270を第2の状態(すなわち、線形経路LP1上の第2の位置)から第1の状態(すなわち、線形経路LP1上の第1の位置)に戻るように作動されている。いくつかの他の変形例では、反射要素270は、第1の状態から第2の状態への格子切り替え部250の移行の直後に第2の状態に留まり、反射要素270は、反射要素270が第2の状態にあり、格子切り替え部250が第2の状態にある間に、画像が撮像された後に第1の状態に遷移する。
図5Cに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。ここで第2の状態にある格子切り替え部250により、反射要素220から反射された光は開口部268を通過し、更にガラス要素232を通過する。ガラス要素232を通過した光は、位相マスク236に向けて光を反射する反射体234に到達する。光が位相マスク236を通過するとき、位相マスク236は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、ミラー264から反射される。ミラー264は、構造化された光を反射要素270に向けて反射し、次いで、構造化された光を投影レンズアセンブリ280に向けて反射する。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Cに示される光学系200の構成で画像を取得した後、アクチュエータ272は、第1の状態(すなわち、線形経路LP1上の第1の位置)から第2の状態(すなわち、線形経路LP1上の第2の位置)へ反射要素270を駆動するように作動され、その後、光学系200は、図5Dに示される構成となる。図5Dに示す段階では、発光アセンブリ210は、反射要素220に向かって光を発し、反射要素220は、位相マスクアセンブリ230及び格子切り替え部250に向けて光を反射する。ここで第2の状態にある格子切り替え部250により、反射要素220から反射された光は開口部268を通過し、更にガラス要素232を通過する。ガラス要素232を通過した光は、位相マスク236に向けて光を反射する反射体234に到達する。光が位相マスク236を通過するとき、位相マスク236は、パターン化された形態を光に提供する。次いで、このパターン化又は構造化された光は、ミラー264から反射される。ミラー264は、構造化された光を反射要素270に向けて反射し、次いで、構造化された光を投影レンズアセンブリ280に向けて反射する。投影レンズアセンブリ280を通過した後、構造化された光は、撮影用に標的化された対象物(例えば、試料容器110)に到達し、カメラシステム140は、標的化された対象物の別の画像を撮影する。
図5Cに示す段階と図5Dに示す段階との間の唯一の違いは、反射要素270が第2の状態(すなわち、線形経路LP1に沿う第2の位置)にあることである。したがって、この動作段階の間に反射要素270が異なる位置にあるため、図5Dに示す構成の光学アセンブリ200で撮像された画像は、図5Cに示す構成の光学アセンブリ200で撮像された画像とは異なる位相を有することとなる。
本明細書に記載されるプロセスのいくつかの変形例では、アクチュエータ272は、格子切り替え部250が第2の状態にある間に、反射要素270を線形経路LP1に沿う第3の位置に駆動するように作動された後、画像を撮像するプロセスが完了する。このようなプロセスの変形例では、カメラシステム140は、格子切り替え部250が第2の状態にある間に3つの画像を撮像することができ、これらの画像のそれぞれは、線形経路LP1に沿う反射要素270のそれぞれの位置に基づいて異なる位相を表す。当然ながら、アクチュエータ272はまた、反射部材270を第4の位置、第5の位置などに駆動するように作動されてもよく、それにより、格子切り替え部250が第2の状態にある間に、任意の所望の数の位相が画像の撮像中に用いられ得る。
上述のように、画像撮像プロセスは、2つ以上の別個のチャネル(例えば、青色チャネル及び緑色チャネル)を介して実行されてもよい。換言すれば、図5A~図5Dを参照して上述したプロセスは、2つ以上の別個のチャネルによって実行されてもよい。発光アセンブリ210は、両方のチャネルを提供するように動作可能であってもよく、又はそれぞれのチャネルは、チャネル自体の発光アセンブリ210を有してもよい。いくつかの変形例では、2つの別個のチャネルは、光学アセンブリ200を介して同時に作動される。いくつかの他の変形例では、図5Dに示す段階の間に第2のチャネルが作動されるまでに、図5Aに示す段階の間に第1のチャネルが作動され、その後、図5Aに示される段階の間に第2のチャネルが作動され、その後、図5Bに示される段階の間に第1のチャネルが作動され、その後、図5Bに示される段階の間に第2のチャネルが作動され、などが行われる。更に別の例として、それぞれのチャネルは、チャネル自体の専用の光学アセンブリ200を有してもよい。いくつかのそのような変形例では、更なる光学構成要素を利用して、それぞれの光学アセンブリ200の投影レンズアセンブリ280が、それぞれのチャネルから同じ標的(例えば、試料容器110)に光を投射することを可能にし得る。1つ以上の光学アセンブリ200が2つ以上のチャネルの使用を可能にし得る他の好適な方法は、本明細書の教示を考慮することで当業者には明らかとなろう。また、システム100内の他の構成要素(例えば、フィルタ切り替えアセンブリ165)は、2つ以上のチャネルの使用を更に可能にし得ることも理解されたい。1つのチャネルが青色であり、別のチャネルが緑色である変形例では、青色チャネルは、およそ450nm~およそ500nmの範囲の波長の光で動作することができ、緑色チャネルは、およそ500nm~およそ570nmの範囲の波長の光で動作することができる。
また上述したように、システム100内の光学アセンブリ200の使用で撮影される素材は、フローセル上のナノウェル内の1つ以上の生体試料(例えば、ヌクレオチドなど)を含んでもよく、試料容器110のいくつかの形態はフローセルを含んでもよい。このようなナノウェルは、規則的な反復パターンに配置されてもよい。矩形パターンに関して、2つの構造化照明の角度が実質的に、パターン内の矩形の対向する角部を接続する2つの対角線に沿って使用されてもよく、その結果、構造化照明の強度ピークは、2つの対角線に対して実質的に垂直に配向される。あるいは、構造化照明の角度は、矩形のナノウェルのパターン方向と同じ方向に沿って(すなわち、矩形の対向する角部に沿わずに)配向されてもよい。
パターン内の六角形の対向する角部を接続する3つの対角線を有するナノウェルの反復六角形パターンについては、3つの構造化照明の角度を、3つの対角線に対して実質的に垂直に配向された強度ピークと共に使用することができる。あるいは、2種類の角度の照明パターンは、ナノウェルの六角形パターンを有するフローセルと共に使用されてもよく、それにより、全ての場合において、3つの構造化照明の角度をナノウェルの六角形パターンと共に使用することが不要となる。更に、構造化照明の角度は、六角形のナノウェルのパターン方向と同じ方向に沿って(すなわち、六角形の対向する角部に沿わず)配向されてもよい。
ナノウェルのパターンの種類にかかわらず、隣接するナノウェルは、関連する光学系のアッベ回折限界よりも近接して位置付けられてもよい。あるいは、試料は、ナノウェルなしで撮影面の上にランダムに分布されてもよい。又は、試料は、ナノウェル以外のいくつかの構造体上の撮影面の上に規則的に配置されてもよい。
IV.画像処理アルゴリズムの例
A.SIM画像処理方法の概要
光学センサ又は(例えば、カメラシステム140に組み込まれているような)画像センサによって撮像された画像は、タイルと称されてもよい。以下に記載されるような画像処理アルゴリズムは、撮像された画像タイルをサブタイルに細分化することができる。それぞれのサブタイルは、独立して評価することができる。略中央サブタイルは、他のサブタイルとは異なって処理されてもよい。フローセルの撮影周期は、一部の重なりを有する多くの画像タイルを撮像することができる。サブタイルは、平行であっても、互いに独立して再構成されてもよい。改善されたサブタイルからの再構成は、改善された空間分解能を有する再構成タイルを生成するように共にステッチされてもよい。場合によっては、画像タイルは、サブタイルに細分化されて、ピーク線がサブタイル内でほぼ均等に離間され、それによって、レンズの視野にわたって再構成されたサブタイルからの画質がより良好になる。
場合によっては、少なくとも3つのパラメータがサブタイルごとにマッピングされる。このようなパラメータは、照明ピーク角度、照明ピーク間隔、及び位相変位を含んでもよい。照明ピーク角度はまた、格子角度と称されてもよい。照明ピーク間隔は、格子間隔と称されてもよい。換言すれば、照明ピーク間隔は、格子の周期性(例えば、位相マスク236、246によって画定された平行線間の間隔)を画定する。位相変位又は位相は、(例えば、アクチュエータ272によって駆動されるように、線形経路LP1に沿う反射要素270の位置に基づいて)試料平面上に投影されるような構造化照明パターン又は格子のシフトである。換言すれば、位相は、格子に直交する方向における共通基準点から反復照明パターンの開始までの距離として定義されてもよい。位相は、ラジアン又は度で表すことができ、反復パターンの周期の分画と見なすことができる。位相変位はまた、格子位相と称されてもよい。角度及び間隔は、二次曲面歪みモデルを使用してマッピングすることができる。
以下は、SIM画像再構成のパラメータを推定するために使用され得る技術の例を記載する。開示される技術のうちのいくつかは、レンズの欠陥に起因して歪んだ又は曲がった縞のピーク線を補正している。平行であると想定されるパターン線は、画像の中心付近で開始するが、レンズの縁部付近で収束するか、又は非平行になる傾向がある。これは、照明ピーク角度又は配向、照明ピーク間隔、及び位相オフセットに影響を及ぼす。図8Aは、画像タイルをサブタイル又はサブウィンドウ又はサブフィールドと称される重複領域に分割することを示す。サブタイルは、サブタイル全体の十分な再構成をもたらすパラメータを設定することができるほど十分に小さい。いくつかの変形例では、それぞれのサブタイルは、512×512ピクセルの光学センサを含む。256、400、1024、2048及び4096又は256~4096ピクセルの範囲を含むがこれらに限定されない、より大きい又はより小さい数が使用されてもよい。サブタイルは、光学センサの少なくとも2ピクセルだけ重なり合ってもよい。より大きい又はより小さい数が使用されてもよい。例えば、512ピクセル幅のウィンドウの場合、最大256ピクセルの重なりが使用されてもよく、1024ピクセル幅の場合、最大512の重なりが使用されてもよい。
パラメータ推定は、2つのステップで実行されてもよい。最初に、画像の略中央サブタイルについてパラメータ推定を実行することができる。次いで、パラメータ推定は、他のサブタイルに対して実行され、略中央サブタイルと比較して、略中央サブタイルのパラメータに対して歪み及び歪みに対する補正を決定することができる。
図6A~図6Cは、全視野(field of view、FOV)の物理的態様を示す。一実施態様では、5472ピクセル×3694ピクセルである矩形センサが使用される。当然のことながら、方形センサ、又は、例えば、5472×5472ピクセル又は4800×4800ピクセルなどの異なるサイズのセンサが使用されてもよい。矩形センサが使用されるとき、歪みは、レンズの縁部に最も近いところで最大となる。レンズは、多くの場合、円形であるため、矩形センサは、短辺上ほど長辺上でレンズの縁部に近接しない。
図6Aは、全視野(FOV)にわたる縞の間隔の歪みを示す2つの図を示す。左の図300は、拡大レンズの歪みに起因して屈曲する平行線の簡略図300である。図示された線は、画像平面内で平行であることが意図されている。レンズを通して見ると、中心の間隔に対して左右の端部で線が収束しているように見える。右の図302は、別の誇張された例である。この図では、縞の線は、左上角部との右下角部との間で斜めに配向されている。縞の間隔は、より容易に見ることができるように誇張されている。縞の線は、中心に対して左上角部及び右下角部において収束している。特定の製造業者のレンズでは、縞パターンは不均一であり得る。
図6B及び図6Cは、緑色及び青色のレーザ照明のための、画像平面内の名目上平行な縞のピーク間の画像における間隔の測定値を示す。カラースケールは、2.8~2.22の間隔の変動を示す。両方の図において、カラースケールは、平行線間の中心間隔がおよそ2.14であることを示している。緑色波長照明下の不規則性は、図6Bの右上隅に見られる。青色波長照明下でのより大きい不規則性は、図6Cにおいて右縁部及び左縁部に沿って見られる。これらの図では、縞パターンは、図の左下から右上まで45°の角度における一連の平行線であった。したがって、間隔は、図8Cの矢印の方向に測定される。これらの図は、レンズによって引き起こされる歪みの補正を動機付ける。レンズは、個別に製造及び装着されるため、組み立て後の個々のシステムの較正及び補正が所望される。
図6Dは、画像タイル内の全視野(FOV)のサブタイル又はサブフィールドを示す。この図では、図示したサブタイルは、512ピクセル×512ピクセルである。これらのサブタイルは、図示された視野を細分化してもよく、又は重なり合ってもよい。サブタイルは、より大きくても小さくてもよい。例えば、400×400ピクセル及び1024×1024ピクセルのサブタイルが有効であることが示されている。図は、5×7個のサブタイルを示している。上記のより大きいセンサは、8×11個のサブタイルを有してもよい。3×3個、5×5個、5×7個、9×9個、9×16個などのサブタイルの他の構成を使用することができる。より大きいセンサは、より多くのサブタイルに分割されてもよい。サブタイルは、光学センサの少なくとも2ピクセルだけ重なり合ってもよい。サブタイル間で重なり合うために、より多くの画素及びより少ない画素が使用されてもよい。例えば、512ピクセル幅のサブタイルの場合、最大256ピクセルの重なりが使用されてもよく、1024ピクセル幅のサブタイルの場合、最大256ピクセルの重なりが使用されてもよい。図6B及び図6Cと一致して、いくつかの候補の略中央サブタイル304が存在し、その全ては、奇数×奇数個のサブタイルアレイ内の中央サブタイルを含む、レンズの芯に存在する。本明細書で使用する際、略中央サブタイルは、センサの中心画素を含むか、又は中心画素を含むサブタイルに隣接するかいずれか一方である。平坦であり、小さい誤差を有するいくつかの光学系では、全体的な歪み補償に影響を与えることなく、更に中央サブタイルに隣接するタイル由来のサブタイルを基準として使用することができる。
開示される技術は、画像センサによって捕捉された実質的に全視野にわたって測定されたマッピングの歪みを含む。規則的な構造化照明からの改善された解像度のSIM再構成が依存する3つのパラメータとしては、縞の間隔、縞の角度、及び縞パターンの位相変位が挙げられる。これらの変数は、構造化照明又は格子パターンの間隔、角度、及び位相オフセットとも称される。中心タイル値からの間隔及び角度変位は、多項式曲面を使用して全視野にわたってあてはめられてもよい。二次曲面及び立方曲面の両方が調査されている。高次多項式もまた使用されてもよい。
画像タイルにわたる縞の間隔及び縞の角度の両方は、二次曲面によってあてはめられてもよい。感度分析は、二次曲面がほぼ立体曲面と同様にあてはまることを示している。二次曲面は、以下の式(II)にあてはめられる。
f(x,y)=c0+(cl*x)+(c2*y)+(c3*x*y)+(c4*x2)+(c5*y2) (II)
f(x,y)=c0+(cl*x)+(c2*y)+(c3*x*y)+(c4*x2)+(c5*y2) (II)
位相推定の一実施態様は、タイトルが「Phase Optimisation for Structured Illumination Microscopy」(2013年)であるWickerらの論文第3節によってWickerらによって提案された技術を用いる。タイトルが「Structured Illumination Microscopy Image Reconstruction Algorithm」(2015年)であるLalらの式及び2013年のWickerらの式は、Wickerの位相推定を説明するのに役立つ。
2015年にLalらから入手された以下の式(III)は、周波数成分の3つの帯域:
を取得した画像
から分離する。混合行列は、パターン角度又は配向0に対応する正弦波照明強度パターンIθ,φ(r)を使用して撮像された画像の位相φ1、φ2、及びφ3の推定値を使用する。Wickerら(2013年)は、φnとして、ある配向でのn番目の画像の位相を指している。十分な精度で位相が分からない場合、非混合又は帯域分離プロセスは、周波数ドメインにおいて、観測画像
から空間周波数成分を不完全に分離することとなる。実際には、3つの空間周波数構成要素
は、以下の式(III)によって提供されるノイズの項によって表されるように、他の構成要素からの残留情報をより多く又はより少なく含有することとなる。
3つの成分を有するこの式は、正弦照明又は余弦照明に対するフーリエ変換から得られる。異なる照明関数が、式を変化させることができる。
したがって、照明正弦波強度パターン位相の正確な知識が重要であり得る。実験設定においてこれらの位相を正確に制御することが常に可能ではないので、取得された画像データから照明パターンの位相を決定することが所望され得る。Wickerら(2013年)は、選択された周波数でコヒーレント正弦波照明を使用して取得されたSIMデータの位相推定技術を提示している。コヒーレント照明は、非常に小さい照明ピーク間隔「s」有する微細格子から良好なパターンコントラストを生成し、これにより再構成された解像度を改善する。照明パターンのピーク周波数を使用して、n番目の画像の照明パターンの位相を取得する。照明パターンのピーク周波数は、フーリエピークとも称される。
Wickerら(2013年)による以下の式(IV)は、周波数ドメイン内の周波数
にわたって、獲得画像
を有する式(II)の一般化された形態を提示する。それぞれの画像は、様々な位相を重ね合わせた
と称される3つの成分を含む。なお、これら3つの成分は、式(III)における
と同じ3つの成分である。
なお、式(IV)における「c」は、照明パターンのコントラストと称される。ノイズがない場合、「c」は、式(2)における混合行列Mの変調係数「m」と同じである。φnを決定するために、式(IV)における周波数
は、照明パターンのピーク周波数である
と置き換えられ、次の式(V)を得る。
式(V)は、パターン位相φnが、周波数
にわたって取得された画像
の位相とほぼ等しいことを示す。パターン位相φnのこの概算は、3つのガイドラインが遵守される場合、良好な結果をもたらし得る。第1に、照明パターンのコントラストcは、十分に大きくなければならない。第2に、試料のパワースペクトルは、周波数が大きくなるにしたがって十分速く減少しなければならない。これらの2つのガイドラインが遵守される場合、式(V)は最後の項によって影響を及ぼされ、したがって、以下の式(VI)に簡略化され得る。
任意の実数値の試料については、中心周波数
は実数値であることとなる。更に、点広がり関数(PSF)
が実数かつ対称である場合、光学伝達関数(OTF)
は、実数であることとなる。OTFは、点広がり関数(PSF)の畳み込みである。点広がり関数は、イメージングシステムの光学伝達関数の空間的ドメインの変形例である。「点広がり関数」という名称は、全ての物理光学系が、光の点をある程度ぼかし(広げ)、ぼかしの量が光学構成要素の品質によって決定されることを示す。イメージングシステムの解像度は、PSFのサイズによって限定される。非対称性PSFについては、OTFの位相を考慮するべきである。
第3に、パターン周波数
におけるOTFは、ノイズを克服するのに十分に大きくなければならない。OTFが小さすぎる場合、取得された画像内のノイズは、
で測定された位相を著しく変更し得る。この位相推定法は、検出OTFをサポートするために、パターン周波数
外で使用することができない。このような周波数に対して、
である。
光学系のOTFを実験的に決定することができる。例えば、Lalら(2015年)は、疎に分布した100nmの蛍光ミクロスフェアを有する試料のいくつかの画像を得ることによってOTFを計算する。次いで、100個超のミクロスフェアに対応する強度分布を重畳し、平均して、システムのPSFの近似値を得た。このPSFのフーリエ変換は、システムのOTFを推定する。この背景により、位相推定技術をサブタイルに適用することができる。
全視野(FOV)に対するタイルの位相変位を推定することが有用であり得、それにより、1つのサブタイル内の位相の測定が、タイルにわたって他のサブタイルに外挿することができる。全FOVの照明ピーク角度及び照明ピーク間隔は、上に提示された二次曲線モデルを使用して、サブタイルの照明ピーク角度及び照明ピーク間隔から推定することができる。位相変位は、サブタイルの画素形状に依存するため、より不規則的であり得、これは、平滑関数の代わりに不規則な階段関数を生成し得る。位相推定は、全FOV画像のサブタイルにわたる共通の基準フレームを使用して表すことができる。サブタイルの座標空間は、全FOV座標空間にマッピングすることができる。
B.SIMシステムの品質管理方法の例
SIM光学系における様々な構造パラメータ及び動作パラメータは、SIM再構成超解像画像の品質に悪影響を及ぼし得る。例えば、レンズを含む任意の光学系(例えば、上述したレンズアセンブリ280内の、カメラシステム140に組み込まれているいくつかの他のレンズ)では、少なくとも1つのレンズは、カメラシステム140によって撮像された画像内に歪みを生成し得る1つ以上の構造収差を含み得る。別の例として、光学アセンブリ200内又はシステム100の光路内の他の場所に構成要素を位置付けることは、既定の指定から逸脱する場合があり、そのような逸脱は、カメラシステム140によって撮像された画像内に歪みを生成する場合がある。SIM再構成で使用される計算は、収差を有するレンズを使用して、又は他の収差を有する光学アセンブリ200を使用して撮像されるソース画像の歪みに対する感受性を示し得る。中心の芯の代わりにレンズの大部分を使用して視野を増大させることにより、レンズ内の収差によって引き起こされる歪みに対するSIM画像再構成の感受性を向上させることができる。したがって、以下で説明する例は、上述の収差(及び他の収差)を検出するためのシステム及び方法を提供し、(可能な場合)このような収差を考慮するために必要に応じて調整を行うことによって、上記で特定された画像の歪みの課題に対する解決策を提供する。換言すれば、以下では、SIM光学系内の品質管理チェック又は構造パラメータ及び動作パラメータの検証を行って、それらが既定の指定内にあるかどうかを判定する方法の例を記載する。したがって、以下に提供される品質管理及び検証の教示は、レンズ又は光学アセンブリの他の構成要素における収差によって提示される既知の課題を克服する利点を提供することができる。
品質管理チェックプロセスは、2つの焦点面間の比較を含んでもよく、一方は光学焦点面であり、他方はSIM格子焦点面である。光学焦点面は、試料容器110内の生体試料の最も焦点の合った対物レンズ142の位置を観察することによって確立され得る。本実施例では、光学焦点面は、システム100の対物レンズ142をz軸に沿って試料容器110に向かって、かつ試料容器110から離れる方向に移動させることによって調整されてもよい。SIM格子焦点面は、アクチュエータ282を作動させることによって、投影レンズアセンブリ280を線形経路LP2に沿って移動させることによって調整され得る。SIM格子焦点面は、位相マスク236、246によって提供される構造化された光パターンから、最高の品質の縞又は最大の干渉が観察され得る投影レンズアセンブリ280の位置を観察することによって確立され得る。理想的なSIMアセンブリの構成は、可能な限り光学焦点面に近いSIM格子焦点面(例えば、光学焦点面のおよそ10nm以内のSIM格子焦点面)を提供することができる。SIM格子焦点面と光学焦点面との間のこの差は、「共焦点」と見なされ得る。
以下の説明は、処理方法におけるSIMスタックの処理を指す。本実施例では、それぞれのSIMスタックは、12個の画像、すなわち、2つのチャネルからの6個の画像を含む。各チャネルについて、6つの画像のセットは、(例えば、図5A及び図5Bに示すように)格子切り替え部250が第1の状態にある間に、反射要素270が、線形経路LP1に沿う3つの異なる位置に配置されて撮影された3つの画像と、(例えば、図5C及び図5Dに示すように)格子切り替え部250が第2の状態にある間に、反射要素270が、線形経路LP1に沿う同じ3つの異なる位置に配置されて撮影された他の3つの画像と、を含む。したがって、SIMスタック内の各チャネルについての6つの画像のセットは、2つの異なる格子角度又は照明ピーク角度のそれぞれについて3つの異なる位相を表す。あるいは、任意の他の好適な数の画像を使用してそれぞれのSIMスタックを形成してもよく、そのような画像は、上記で特定されたパラメータ以外のパラメータに基づいて互いに異なってもよい。それぞれのSIMスタックは、異なるz位置で収集されてもよく、これは、対物レンズ142が試料容器110から異なる距離に位置して、それぞれのSIMスタックが収集され得ることを意味する。単なる例として、SIMスタックは、およそ20個の様々なz位置からおよそ40個の様々なz位置において収集され得る。様々なz位置は、およそ0.1μm~およそ1.0μm、又はおよそ0.2μm~およそ0.8μm、又はおよそ0.5μmの間隔など、任意の好適な間隔で離間されてもよい。
プロセスは、図7のブロック400に示すように、各Z位置についてのSIMスタックを収集することによって開始することができる。上述のように、それぞれのSIMスタックは、12個の画像を含んでもよい。次に、それぞれのSIMスタックは、図7のブロック402に示すように、スタック内の各画像についての半値全幅(FWHM)を測定するために読み取られ得る。FWHMは、それぞれのチャネル及びそれぞれの格子角度(格子角度は、SIMスタック内の画像が撮像された時点での格子切り替え部250の状態に基づく)の中心推定ウィンドウ上で測定することができる。中心推定ウィンドウを提供するために、画像は中央領域にトリミングされて、比較的高い歪みが起こり得る外縁部及び角部領域を除外することができる。それぞれのチャネルの中心推定ウィンドウ上のFWHM値及びそれぞれの格子角度の測定は、それぞれの角度の未加工かつ未再構成の位相0を使用して行われてもよい。各チャネル-角度ペアについて1つだけ位相を測定することは、計算コストを節約することができ、十分な結果を提供することができる。
各SIMスタックについてのFWHMが測定された後、プロセスは、図7のブロック404に示すように、追加のSIMスタックが処理される必要があるかどうかを判定することとなり、それぞれのSIMスタックは、固有の対応するz位置に対応することが理解される。更なるSIMスタックが処理される必要がある場合、プロセスは、全てのSIMスタックについてFWHMが測定されるまで、更なるSIMスタックのFWHMを測定し続ける。全てのSIMスタック(すなわち、第1のパス中の全てのz位置)についてFWHMが測定されると、プロセスは、図7のブロック406に示すように、最も焦点の合ったz位置を有するSIMスタックを特定することとなる。次に、プロセスは、図7のブロック408に示されるように、最も焦点の合ったz位置を有するSIMスタック内の画像の格子間隔、角度、及び位相を測定することとなる。
最も焦点の合ったz位置を有するSIMスタック内の画像の格子間隔、角度、及び位相を測定した後、次に、プロセスは、図7のブロック410及び412に示されるように、全てのSIMスタック内(すなわち、第2のパス中の全てのz位置における)各チャネル-角度ペアについての変調及び位相を測定することとなる。縞の変調は、縞の干渉パターン強度の定量的尺度である(0~1の値であり、1は、完全干渉及び透過損失ゼロを想定する理論上の最大値である)。正確な変調値を算出することは、縞パターンの配向及び周期性の正確な推定の際に予測される。格子の最良焦点面から更に離れる方向であるz位置が処理されると、変調値は0に近づくほど低下することが予想される。
全てのSIMスタック(すなわち、全てのz位置)で、各チャネル-角度ペアについての変調及び位相が測定されると、プロセスは、図7のブロック414に示されるように、各SIMスタックについての(すなわち、各z位置についての)、全てのFWHM、格子間隔、角度、位相、及び変調を表にすることとなる。この表が完成した後、各チャネル-角度ペアについて、プロセスは、図7のブロック416に示されるように、z位置対FWHM及びz位置対変調に多項式モデル又は曲線をあてはめることとなる。
各チャネル-角度ペアについての多項式モデル又は曲線をあてはめた後、プロセスは、図7のブロック418に示されるように、各チャネル-角度ペアについての共焦点測定基準を算出することができる。この共焦点値は、以下のように算出することができる。
共焦点=最小FWHMのz位置-最大変調のz位置。
上述したように、SIM格子焦点面が可能な限り光学焦点面に近い(例えば、光学焦点面のおよそ10nm以内のSIM格子焦点面)共焦点値を有することが所望され得る。
共焦点=最小FWHMのz位置-最大変調のz位置。
上述したように、SIM格子焦点面が可能な限り光学焦点面に近い(例えば、光学焦点面のおよそ10nm以内のSIM格子焦点面)共焦点値を有することが所望され得る。
いくつかの実施態様では、プロセスは、表又は他のレポートを生成することができる。表又は他のレポートは、上述のプロセスに基づいて、イメージングシステムに対応する様々なパラメータを手元に示すことができる。単なる例として、レポートが表を含む変形例では、表の列は、z方向の高さ(すなわち、対物レンズ142と試料容器110との間の距離)、チャネル、角度指数、変調、FWHM、格子間隔、格子角度、及び任意の他の好適なパラメータを含んでもよい。表内のパラメータは、品質管理チェックを提供するために、既定の指定と比較され得る。
表又は他のレポートにおけるパラメータのいずれかが許容量を超えて指定から逸脱した場合、システム100の光学アセンブリ200又は他の構成要素に対する調整が行われて、指定内のそれらの逸脱したパラメータをもたらすように試みることができる。例えば、光学アセンブリ200のいくつかの変形例は、位相シフト又は変調を固定するための調整を可能にし得る。例として、共焦点値が指定から許容量を超えて逸脱する場合、調整は、投影レンズアセンブリ280を移動させること、カメラシステム140を移動させること、電気光学変調器を移動させること、又は何らかの他の構成要素を移動させることを含んでもよい。更なる例として、位相値が、許容量を超えて指定から逸脱する場合、調整は、全ての光学構成について試料における正確な量の縞の並進移動を達成するために、アクチュエータ272を駆動するために使用される電圧を較正することを含み得る。更なる例として、品質管理チェックが傾斜又は色度の収差を明らかにする場合、構成要素カメラシステム140は、移動可能に調整され得るが、そのような移動は共焦点に影響を及ぼし得る。本明細書の教示を考慮することで当業者には明らかとなるように、他の好適な種類の調整を提供することができる。
上述の品質管理チェックプロセスは、調整が実際に指定内に逸脱しているパラメータをもたらしているかどうかを確認するために、再度実行されてもよい。指定内に逸脱しているパラメータをもたらす調整を行うことができない場合、逸脱しているパラメータに関与する光学アセンブリ200の構成要素又はシステム100の他の構成要素は置換されてもよい。そのような構成要素が置換されない場合、光学アセンブリ200又はシステム100を共に拒絶することが所望され得る。
C.位相較正方法の例
上述したように、光学系200は、アクチュエータ272の作動を通じて、位相シフトを提供してもよく、アクチュエータ272は、線形経路LP1に沿って反射要素270の位置を変化させることによって光学系200の位相を変化させ得る。また上述したように、アクチュエータ272は、圧電可動素子又は任意の他の好適な構成要素を備えていてもよい。アクチュエータ272が圧電可動素子を含む変形例では、線形経路LP1に沿った反射要素270の位置は、圧電可動素子に印加される電圧に基づいて変化し得る。したがって、様々な位相を、アクチュエータ272に提供される、様々な対応する電圧と関連付け得る。アクチュエータ272及び反射要素270の電圧-移動較正曲線は、位相移動の精度に直接影響し得る。これは、アクチュエータ272及び反射要素270を組み込んだシステム100によって提供されるSIM再構成の品質に影響を及ぼし得る。したがって、正確な位相シフトを達成するために、アクチュエータ272の電圧を較正する方法を提供することが所望され得る。このような方法の一例を、図8を参照して以下に詳細に説明する。場合によっては、このプロセスは、光学アセンブリ100が最初に使用される前に行なってもよい。加えて、又は代替的に、このプロセスは、図7を参照して上述したプロセスを使用して得られたデータにより、光学アセンブリ100の位相シフトが不正確であることを示すデータが明らかとなった場合に行われてもよい。
本実施例では、アクチュエータ272の電圧を較正する方法は、上述の12画像SIMスタックのような、12画像SIMスタックによって定義される作業の単位を使用して行われる。上述のように、この12画像SIMスタックは、各チャネルからの6つの画像を含んでもよい。各チャネルについて、6つの画像のセットは、(例えば、図5A及び図5Bに示すように)格子切り替え部250が第1の状態にある間に、反射要素270が、線形経路LP1に沿う3つの異なる位置に配置されて撮影された3つの画像と、(例えば、図5C及び図5Dに示すように)格子切り替え部250が第2の状態にある間に、反射要素270が、線形経路LP1に沿う同じ3つの異なる位置に配置されて撮影された他の3つの画像と、を含む。換言すれば、各チャネルについての6つの画像からなる各セットは、格子切り替え部270の各状態について、3つの関連する位相(例えば、位相0、位相1、及び位相2)を有することとなる。言い換えれば、各チャネル-角度ペアは、3つの対応する位相にある3つの画像を有してよい。当然ながら、このプロセスは、代わりに、チャネル、角度、及び位相ペアリングの任意の他の組み合わせに適用されてもよい。
図8のブロック500に示すように、位相較正プロセスは、推定ウィンドウサイズN、第1の位相ステップ及び第2の位相ステップについての位相ステッピング目標(例えば、それぞれ120度及び240度)、並びに10度未満の位相ずれ目標を用い、最も焦点の合ったSIMスタック内の画像を選択することから開始してもよい。
次に、このプロセスは、図8のブロック502に示すように、画像視野の中心ウィンドウを所定のサイズ(例えば、1024×1024ピクセル)にトリミングすることを含んでもよい。このトリミングされた画像を用い、プロセスは、図8のブロック504に示すように、格子間隔、格子角度、並びに各チャネル及び各角度についての変調を特定するために、SIMパラメータ推定を実行してよい。このSIMパラメータ推定は、図7に示すプロセスについて上記に提供された教示に従って実行されてもよい。
SIMパラメータ推定が完了すると、プロセスは、図8のブロック506に示すように、各チャネル-角度ペアについてWickerの位相リファインメント手順を実行して、各画像の位相を推定してよい。Wickerの位相推定プロセスは、上記の教示に従って行ってよい。
プロセスはまた、図8のブロック508に示すように、各チャネル-角度ペアからの3つの位相画像のそれぞれから、3つの位相値を収集してもよい。次に、プロセスは、図8のブロック510に示されるように、各チャネル-角度ペアについて位相をアンラップしてよく、そのため、位相値は、段階的に単調に増加する。この位相のアンラップは、各連続するチャネル-角度ペアに360度を加えることを含んでもよい。
次に、プロセスは、図8のブロック512に示すように、各チャネル-角度ペアについて、第1の画像と第2の画像との間の位相シフトを、phase_shift_12=unwrapped phase 2-unwrapped phase 1として計算してよい。その後同様に、プロセスは、各チャネル-角度ペアについて、第1の画像と第3の画像との間の位相シフトを、phase_shift_13=unwrapped phase 3-unwrapped phase 1として計算してよい。
次に、プロセスは、図8のブロック514に示されるように、SIMスタックにわたり、全てのphase_shift_12値及び全てのphase_shift_13値を求めてよい。全てのphase_shift_12値及び全てのphase_shift_13値が所定範囲内(例えば、目標位相シフトステップの10度以内)である場合、図8のブロック522に示すように、電圧が適切に較正された状態でプロセスが完了したものと見なされてよい。
SIMスタックにわたる全てのphase_shift_12値及び全てのphase_shift_13値の評価により、全てのphase_shift_12値及び全てのphase_shift_13値が所定範囲内にないことが明らかとなった場合、プロセスは、図8のブロック516に示すように、各チャネル-角度ペアに対する所望の設定値の目標を達成するために必要な、比例ゲインの計算に進んでよい。そのため、プロセスは、第1の画像と第2の画像との間の位相シフトのためのゲインを、gain12=120/(phase_shift_12)として計算してもよく、式中、phase_shift_12値の単位は度である。そのため、プロセスは、第1の画像と第3の画像との間の位相シフトのためのゲインを、gain13=240/(phase_shift_13)として計算してもよく、式中、phase_shift_13値の単位は度である。これらの比例ゲインの計算は、全てのチャネル-角度ペアについて行われてよい。
比例ゲインの計算が完了した後、プロセスは、図8のブロック518に示すように、計算されたゲインを現在の電圧値に適用することによって、アクチュエータ272に対する新規電圧を確立してよい。第1の位相(例えば、「位相0」)については、電圧は変化しないままであってもよい。第2の位相(例えば、「位相1」)については、新規電圧は、第2の位相(位相1)についての元の電圧に、上記で計算したgain12値を乗じたものであってもよい。第3の位相(例えば、「位相2」)については、新規電圧は、第3の位相(位相2)についての元の電圧に、上記で計算したgain13値を乗じたものであってもよい。これらの新規電圧計算は、全てのチャネル-角度ペアについて行われてよい。
新規電圧が全てのチャネル-角度ペアに対して確立されると、図8のブロック520に示すように、新規のSIM画像スタックが撮像される際に、新規電圧がアクチュエータ272に印加されてもよい。次に、図8に示すように上述のプロセスを繰り返して、新規電圧により、全てのphase_shift_12値と全てのphase_shift_13値とが所定範囲内となったかどうかを判定してよい。新規電圧により、実際に、全てのphase_shift_12値と全てのphase_shift_13値とが所定範囲内となった場合、プロセスは完了してもよい。新規電圧により、全てのphase_shift_12値と全てのphase_shift_13値とが所定範囲内となっていない場合、本プロセスは、電圧により、全てのphase_shift_12値と全てのphase_shift_13値とが所定範囲内となるまで、必要な回数にわたって再反復されてよい。
D.代替的な標的デバイスの例
上述したように、システム100は、撮影標的として試料容器110を提供してもよい。いくつかの他の例では、標的デバイスを、試料容器100の代わりに提供することが望ましい場合があり、この標的デバイスは、較正及び品質管理チェック目的専用である。このような専用の標的デバイスは、試料容器110の代わりにシステム100内に収まるようにサイズ決め及び構成されていてよく、専用の標的デバイスが、試料容器によって提供されるものと同様の厚さ及び撮影面を有し得るようになっていてよい。専用の標的デバイスは、画像標的表面上に1つ以上の光学パターンを更に含んでいてもよい。SIMシステムの場合、それらの光学パターンがどのように画定されるかについて、特別な注意を払う必要があり得る。非SIMシステムで使用される際に、専用の標的デバイスに好適であり得る光学パターンは、SIMシステムでの使用に好適ではない場合がある。例えば、互いに平行であり、互いに一貫して離れている直線のアレイを使用する光学パターン、完全なグリッドに整列したドットのアレイ、又は規則的な繰り返し要素を有する何らかの他のパターンは、SIMシステムにおいて所望のモアレ・エイリアシング効果を提供しない場合がある。換言すれば、このようなパターンによっては、構造的に照明された干渉縞の周波数ピークを、標的パターンのアーチファクト周波数ピークから見分けることができない場合がある。
上記を考慮すると、SIMシステムでの使用専用である標的デバイスにおいては、光学パターン内にランダム化を提供することが所望され得る。これは、ランダムな不規則な様式で配置されたドット、線、又は他の特徴のパターンを含んでもよい。いくつかの例では、光学パターンは疑似ランダム化されていてもよい。このような疑似ランダム化の例を図9A及び図9Bに示す。図9Aでは、ドットの組は、ドットが互いに等距離に離間するように、規則的な配置で示されている。図9Aのこの構成は、非SIMシステムのための標的デバイスでの使用に好適であり得るが、SIMシステムのための標的デバイスでの使用には好適でない。疑似ランダム化を提供するために、標的の設計では、整ったアレイドットから始め、次いで、各ドットをランダムに移動させて、図9Bに示されるようなパターンに到達させてもよい。図9Bに示すような疑似ランダム化されたパターンのドットにより、構成は、SIMシステムのための標的デバイスでの使用に好適なものとなり得る。
図9A及び図9Bを参照して上述した実施例では、図9Bのパターンは、パターンが最初に規則的な配置で提供されているため、「ランダム化」されたのではなく、「疑似ランダム化された」のである。この「疑似ランダム化」は、「純粋なランダム化」よりも好ましい場合がある。これは、このランダム化プロセス(すなわち、図9Aのパターンを図9Bに示されるようなパターンに変換すること)では、「疑似ランダム化された」パターンにおけるドット間に、所定の最小量の間隔を提供し得るためである。換言すれば、疑似ランダム化プロセスにより、パターンにおけるドットが互いに少なくとも一定の距離だけ離れていることが確保され得る。このことは、SIMイメージングにおいて重要となる場合があり、それは、標的光学パターン内におけるドットが互いに接近し過ぎている場合には、SIMイメージングの結果が許容不能なものとなったり、さもなくば、理想未満のものとなってしまう場合があるからである。その他、最小ドット間隔の規則を設けることとは別に、疑似ランダム化では、図9Aの規則的なアレイからのドットの再配置を純粋にランダムにすることができる。
SIMシステムにおける較正及び品質管理チェックのための専用の標的デバイスは、上述のドットパターンを含むことに加えて、又はその代わりに、他の光学的特徴を含んでもよい。例えば、標的デバイスは、パターン化された線アレイを含んでいてもよい。このような線アレイは、線ペアを含んでいてもよい。各線ペアは、構造化照明の必要な/予想の角度で傾斜していてもよい。したがって、線ペアの位相と一致するように、また線ペアの位相からずれるように、パターン化された光がシフトされると、(強め合い/同位相及び弱め合い/逆位相の干渉の範囲の結果として)得られる強度における差により、2つのパターン間の平行度の測定が可能となり得る。図10に示されるように、構造化照明(b/d)が、線ペア(a)と位相が一致するように(b)、また位相がずれるように(d)にシフトされると、これにより、それぞれ強め合いの干渉及び弱め合いの干渉により、より強い強度(c)又はより弱い強度(e)が測定される。印刷した線ペア、及び構造化照明の2つのパターンが完全に平行/オン-アングルである場合、得られる強度プロファイルは、図11Aに示されるような均一に傾斜した線をもたらすものと予想され得る。しかしながら、構造化照明パターンがオフ-アングルである場合、結果として生じる強度シグネチャにより、軸外角度(off-axis angle)の程度に応じて、図11Bに示されるような周期的な暗い部分が明らかとなり得る。
また、専用の標的デバイスは、光学系200からの光に応答して蛍光を発する流体を含む流体チャネルを含むことが望ましい場合もある。試料容器110がまた、流体チャネルを(例えば、フローセルの一部として)収容し得る限り、そのような流体チャネルの一部は比較的厚くなり得る。比較的厚い流体チャネルは、再結像された縞の変調がより少なく測定され得るため、SIMイメージングにあまり寄与しない場合がある。
図12は、流体チャネルの深さに基づく、様々な変調プロットの例を示す。プロット600は、位相に対する変調の形で入力信号を示している。プロット602は、再結像された縞の変調を表す、比較的厚い流体チャネル(例えば、厚さ約75μm)からの信号の例を示す。図示のように、比較的厚い流体チャネルによる再結像された変調は、入力変調よりもかなり小さい。プロット604は、再結像された縞の変調を表す、比較的薄い流体チャネル(例えば、厚さ約3μm)からの信号の例を示す。図示のように、比較的薄い流体チャネルによる再結像された変調は、比較的厚い流体チャネルによる再結像された変調と比べると、入力変調に実質的に近い。単なる例として、比較的厚い流体チャネルによる再結像された変調は、入力変調の約30%となり得、比較的薄いチャネルによる再結像された変調は、入力変調の約70%となり得る。プロット606は、再結像された縞の変調を表す、更に薄い流体チャネル(例えば、3μmよりも任意に薄い)からの信号の例を示す。
これらのプロット600、602、604、606を比較することによって分かるように、流体チャネルが薄くなるほど、再結像された変調は、入力変調に近くなる。流体チャネルの厚さが0μmに近づくにつれて、再結像された変調は入力変調に近くなる。これにより、流体チャネルを製造可能な限り薄く設計することが促される。しかしながら、流体チャネルを薄くし過ぎると、流体チャネル内の染料の光安定性に悪影響を及ぼし得る。したがって、流体チャネル内の染料の光安定性と再結像された変調の精度との間の適切なバランスをとることが望ましくなり得る。あくまで例としてであるが、適切なバランスは、約3μmの流体チャネル厚さであり得る。あるいは、許容可能なバランスは、約2μm~約10μmの流体チャネル厚さであり得る。
V.その他
前述の説明は、当業者が本明細書に記載される様々な構成を実践することを可能にするために提供される。対象技術は、様々な図及び構成を参照して特に説明されてきたが、これらは例示目的のみのためであり、対象技術の範囲を限定するものとして解釈されるべきではないことを理解されたい。
主題技術を実施するための多くの他の方法が存在し得る。本明細書に記載される様々な機能及び要素は、主題技術の範囲から逸脱することなく、示されるものとは異なって分割され得る。これらの実施態様に対する様々な修正は、当業者には容易に明らかであり得、本明細書で定義される一般的な原理は、他の実施態様に適用することができる。したがって、主題技術の範囲から逸脱することなく、当業者によって、多くの変更及び修正を主題技術に行うことができる。例えば、異なる数の所与のモジュール又はユニットが用いられ得、異なる種類若しくは複数の種類の所与のモジュール又はユニットが用いられ得、所与のモジュール又はユニットが追加され得、あるいは所与のモジュール又はユニットが省略され得る。
本明細書に記載される実施例のいくつかの変形例は、コンピュータシステムを使用して実現されてもよく、このコンピュータシステムは、バスサブシステムを介して多数の周辺デバイスと通信する少なくとも1つのプロセッサを含んでいてよい。これらの周辺デバイスは、例えば、メモリデバイス及びファイル記憶サブシステムなどの記憶サブシステム、ユーザーインターフェース入力デバイス、ユーザーインターフェース出力デバイス及びネットワーク・インターフェース・サブシステムを含んでいてよい。入力及び出力デバイスは、コンピュータシステムとのユーザー対話を可能にし得る。ネットワーク・インターフェース・サブシステムは、他のコンピュータシステム内の対応するインターフェースデバイスへのインターフェースなど、外部ネットワークへのインターフェースを提供し得る。ユーザーインターフェース入力デバイスは、キーボード、マウス、トラックボール、タッチパッド、又はグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム及びマイクロフォンなどのオーディオ入力デバイス、並びに他の種類の入力デバイスを含んでいてよい。一般に、用語「入力デバイス」の使用は、コンピュータシステムに情報を入力するための全ての可能な種類のデバイス及び方法を含むことを意図している。
ユーザーインターフェース出力デバイスは、ディスプレイサブシステム、プリンタ、ファックス装置、又はオーディオ出力デバイスなどの非視覚ディスプレイを含んでいてよい。ディスプレイサブシステムは、陰極線管(Cathode Ray Tube、CRT)、液晶ディスプレイ(Liquid Crystal Display、LCD)などのフラットパネルデバイス、投影デバイス、又は可視画像を作成するための何らかの他の機構を含んでいてよい。ディスプレイサブシステムはまた、音声出力デバイスなどの非視覚ディスプレイを提供してもよい。一般に、用語「出力デバイス」の使用は、コンピュータシステムからユーザー又は別のマシン若しくはコンピュータシステムに情報を出力するための、全ての可能な種類のデバイス及び方法を含むことを意図している。
記憶サブシステムは、本明細書に記載されるモジュール及び方法のうちのいくつか又は全ての機能を提供するプログラミング及びデータ構築物を記憶してよい。これらのソフトウェアモジュールは、一般に、コンピュータシステムのプロセッサ単独で、又は他のプロセッサとの組み合わせで実行されてもよい。記憶サブシステムで使用されるメモリは、プログラム実行中に命令及びデータを記憶するための、メインのランダムアクセスメモリ(random access memory、RAM)、固定命令が記憶された読み取り専用メモリ(read only memory、ROM)などの、多数のメモリを含んでいてよい。ファイル記憶サブシステムは、プログラム及びデータファイルのための永続的な記憶装置を提供してよく、ハードディスクドライブ、フロッピーディスクドライブと取り外し可能な関連媒体、CD-ROMドライブ、光学ドライブ、又は取り外し可能な媒体カートリッジを含んでいてよい。特定の実施態様の機能を実装するモジュールは、記憶サブシステム内のファイル記憶サブシステムによって、又はプロセッサによってアクセス可能な他のマシン内に記憶されてよい。
コンピュータシステム自体は、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、テレビ、メインフレーム、サーバファーム、広く分散した一組の緩くネットワーク化されたコンピュータ、又は任意の他のデータ処理システム若しくはユーザーデバイスを含む様々な種類のものであってよい。コンピュータ及びネットワークは絶え間なく変化する性質のものであるため、本明細書に記載されるコンピュータシステムの例は、開示される技術を例示する目的のための具体例としてのみ意図されている。本明細書に記載のコンピュータシステムよりも多く又は少ない構成要素を有する、コンピュータシステムの多くの他の構成が可能である。
方法ではなく製造物品として、プロセッサによって実行可能なプログラム命令を非一時的コンピュータ可読媒体(computer readable medium、CRM)に格納してもよい。プログラム命令が実行されると、上述のコンピュータ実装された方法のうちの1つ以上を実施する。あるいは、プログラム命令は、非一時的なCRMに格納されてもよく、適切なハードウェアと組み合わされたときに、開示の方法を実施するコンピュータ実装されたシステムのうちの1つ以上の構成要素となってもよい。
下線付き及び/又はイタリック体の見出し及び副見出しは、便宜上のみのために使用され、主題技術を限定するものではなく、主題技術の説明の解釈と関連して言及されない。当業者に既知である、又は後に知られることとなる、本開示全体を通して記載される様々な実施態様の要素に対する全ての構造的及び機能的等価物は、参照により本明細書に明示的に組み込まれ、主題技術に包含されることが意図される。更に、本明細書に開示された何物も、そのような開示が上記の説明において明示的に記載されているかどうかにかかわらず、公開専用であることを意図するものではない。
前述の概念及び更なる概念の全ての組み合わせが、以下でより詳細に考察される(かかる概念が相互に矛盾しないことを提供する)は、本明細書に開示される発明の主題の一部であると考えられることを理解されたい。具体的には、本開示の終わりに現れる特許請求される主題の全ての組み合わせは、本明細書に開示される発明の主題の一部であると考えられる。
Claims (20)
- 複数の画像セットを受け取ることであって、前記複数の画像セットの各画像セットは、ある距離だけ被写体から離れて、光学系内の構造化照明顕微鏡(SIM)を使用して撮像された画像を含み、前記距離は、前記複数の画像セットの他の画像セットの画像が撮像された前記被写体からの距離とは異なり、前記複数の画像セットの各画像は、関連するチャネル及び関連する格子角度を有する、ことと、
第1の画像セットを、前記第1の画像セットに対応する前記距離に少なくとも部分的に基づいて、前記複数の画像セットから分離することと、
前記第1の画像セットの各画像に対応する半値全幅(FWHM)値を測定することと、
前記第1の画像セットの前記画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することと、
前記第1の画像セットに対応する、前記特定された最小FWHMスライスに対するパラメータ推定を実行することと、
前記第1の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することと、
前記第1の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づく、前記特定された最良の合焦パラメータを記憶することと、
前記第1の画像セット内の各画像についての位相推定を実行することと、
前記第1の画像セットに対応する前記特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することと、
前記第1の画像セットに対応する前記実行された変調計算に少なくとも部分的に基づいて、前記光学系に対応するパラメータ値を提示するレポートを生成することと、を含む、方法。 - 第2の画像セットを、前記第2の画像セットに対応する前記距離に少なくとも部分的に基づいて、前記複数の画像セットから分離することと、
前記第2の画像セットの各画像に対応する半値全幅(FWHM)値を測定することと、
前記第2の画像セットの前記画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することと、
前記第2の画像セットに対応する、前記特定された最小FWHMスライスにおいてパラメータ推定を実行することと、
前記第2の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することと、
前記第2の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づく、前記特定された最良の合焦パラメータを記憶することと、
前記第2の画像セット内の各画像についての位相推定を実行することと、
前記第2の画像セットに対応する前記特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することと、を更に含み、
前記生成されたレポートは、前記第1の画像セットに対応する前記実行された変調計算と、前記第2の画像セットに対応する前記実行された変調計算との組み合わせに少なくとも部分的に基づく、請求項1に記載の方法。 - 前記第1の画像セットの各画像に対応する前記FWHM値を測定することは、前記第1の画像セットの各画像の中心推定ウィンドウで実行される、請求項1~2のいずれか一項以上に記載の方法。
- 前記第1の画像セットに対応する、前記特定された最小FWHMスライスにおいてパラメータ推定を実行することは、前記特定された最小FWHMスライスの中心推定ウィンドウで実行される、請求項1~3のいずれか一項以上に記載の方法。
- パラメータ指定の既定のセットに対して前記レポート内のパラメータを比較することを含むことと、
前記レポート内のパラメータが前記パラメータ指定の既定のセットから逸脱していると判定することと、
前記レポート内のパラメータが前記パラメータ指定の既定のセットから逸脱しているとの前記判定に少なくとも部分的に基づいて、前記光学系の1つ以上の特徴を調整することと、を更に含む、請求項1~4のいずれか一項以上に記載の方法。 - 前記生成されたレポートは、前記光学系内の対物レンズと前記被写体との間の距離、前記複数の画像の各画像に対応する前記チャネル、角度インデックス、変調、FWHM値、格子間隔、及び格子角度からなる群から選択されるパラメータ値を含む、請求項1~5のいずれか一項以上に記載の方法。
- 前記第1の画像セットの画像ペア間の位相シフトを計算することを更に含み、前記画像ペアの各画像ペアは、チャネル及び格子角度を共有しており、前記生成されたレポートは、前記計算された位相シフトを含む、請求項1~6のいずれか一項以上に記載の方法。
- 前記計算された位相シフトを、位相シフトの所定範囲に対して比較することと、
前記計算された位相シフトのうちの少なくとも1つが、位相シフトの前記所定範囲外であると判定することと、
前記計算された位相シフトのうちの少なくとも1つが位相シフトの前記所定範囲外であると判定することに応答して、位相シフトの前記所定範囲外である前記位相シフトを補正するゲイン値を計算することと、を更に含む、請求項7に記載の方法。 - 前記計算されたゲイン値に少なくとも部分的に基づいて、新規位相シフト電圧を確立することと、
前記新規位相シフト電圧を圧電素子に印加することであって、前記圧電素子は、前記光学系内で位相シフトを提供する、ことと、
前記新規位相シフト電圧を前記圧電素子に印加した状態で、新しい画像セットを撮像することと、を更に含む、請求項8に記載の方法。 - コンピューティングシステムに、請求項1~9のいずれか一項以上に記載の方法を実行することによって、データを処理させるように構成されたコンテンツを含む、プロセッサ可読媒体。
- 装置であって、
構造化照明を標的に向けて発する第1の光学アセンブリであって、前記第1の光学アセンブリは、
発光アセンブリと、
前記発光アセンブリによって発せられた光に第1のパターンを付与する第1の位相マスクと、
前記発光アセンブリによって発せられた光に第2のパターンを付与する第2の位相マスクと、
前記第1の位相マスク及び前記第2の位相マスクによって構造化された光の位相を調整する位相調整アセンブリと、を備える、第1の光学アセンブリと、
第2の光学アセンブリであって、前記第2の光学アセンブリは、前記第1の光学アセンブリによって照明したときに、前記標的の画像を撮像する画像センサを備える、第2の光学アセンブリと、
プロセッサであって、前記プロセッサは、
複数の画像セットを受け取ることであって、前記複数の画像セットの各画像セットは、ある距離だけ被写体から離れて、前記第2の光学アセンブリを使用して撮像された画像を含み、前記距離は、前記複数の画像セットの他の画像セットの画像が撮像された前記被写体からの距離とは異なり、前記複数の画像の各画像は、関連するチャネル及び関連する格子角度を有する、ことと、
第1の画像セットを、前記第1の画像セットに対応する前記距離に少なくとも部分的に基づいて、前記複数の画像セットから分離することと、
前記第1の画像セットの各画像に対応する半値全幅(FWHM)値を測定することと、
前記第1の画像セットの前記画像にわたる平均FWHM値に少なくとも部分的に基づいて、最小FWHMスライスを特定することと、
前記第1の画像セットに対応する、前記特定された最小FWHMスライスに対するパラメータ推定を実行することと、
前記第1の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づいて、最良の合焦パラメータを特定することと、
前記第1の画像セットに対応する前記実行されたパラメータ推定に少なくとも部分的に基づく、前記特定された最良の合焦パラメータを記憶することと、
前記第1の画像セット内の各画像についての位相推定を実行することと、
前記第1の画像セットに対応する前記特定された最良の合焦パラメータに少なくとも部分的に基づいて、変調計算を実行することと、
前記第1の画像セットに対応する前記実行された変調計算に少なくとも部分的に基づいて、前記光学系に対応するパラメータ値を提示するレポートを生成することと、を実行する、プロセッサと、を備える、装置。 - 前記標的は試料容器を含む、請求項11に記載の装置。
- 前記第1の光学アセンブリは、格子切り替え部を更に備え、前記格子切り替え部は、前記発光アセンブリから発せられた光を前記第1の位相マスク又は前記第2の位相マスクに向けて選択的に方向付けるか、又は許容する、請求項11~12のいずれか一項以上に記載の装置。
- 前記位相調整アセンブリは、移動可能な反射要素を備える、請求項11~13のいずれか一項以上に記載の装置。
- 前記位相調整アセンブリは、前記移動可能な反射要素を移動させるアクチュエータを更に備える、請求項14に記載の装置。
- 前記プロセッサは更に、前記第1の画像セットの画像ペア間の位相シフトを計算し、前記画像ペアの各画像ペアは、チャネル及び格子角度を共有している、請求項11~15のいずれか一項以上に記載の装置。
- 前記プロセッサは更に、前記計算された位相シフトを、位相シフトの所定範囲に対して比較する、請求項16に記載の装置。
- 前記プロセッサは更に、
前記計算された位相シフトのうちの少なくとも1つが、位相シフトの前記所定範囲外であると判定し、
前記計算された位相シフトのうちの少なくとも1つが位相シフトの前記所定範囲外であると判定することに応答して、位相シフトの前記所定範囲外である前記位相シフトを補正するゲイン値を計算する、請求項17に記載の装置。 - 前記プロセッサは更に、前記計算されたゲイン値に少なくとも部分的に基づいて、新規位相シフト電圧を確立し、前記位相調整アセンブリは、前記第1の位相マスク及び前記第2の位相マスクによって構造化された前記光の位相を調整する圧電素子を備え、前記新規位相シフト電圧は、前記圧電素子を作動させて、前記値の所定範囲に近い位相シフトを提供する、請求項18に記載の装置。
- 予め形成された光学パターンを備える標的デバイスを更に備え、前記標的デバイスは、前記第1の光学アセンブリが、前記予め形成された光学パターンに向かって構造化照明を発することを可能とし、前記標的デバイスは、前記第1の光学アセンブリによって照明したときに、前記画像センサが前記予め形成された光学パターンの画像を撮像することを可能にする、請求項11~19のいずれか一項以上に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962944692P | 2019-12-06 | 2019-12-06 | |
US62/944,692 | 2019-12-06 | ||
PCT/US2020/062971 WO2021113422A1 (en) | 2019-12-06 | 2020-12-03 | Apparatus and method of providing parameter estimation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503738A true JP2023503738A (ja) | 2023-02-01 |
Family
ID=74003916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557677A Pending JP2023503738A (ja) | 2019-12-06 | 2020-12-03 | パラメータ推定を提供する装置及び方法 |
Country Status (13)
Country | Link |
---|---|
US (2) | US11243390B2 (ja) |
EP (1) | EP4070145A1 (ja) |
JP (1) | JP2023503738A (ja) |
KR (1) | KR20220112175A (ja) |
CN (2) | CN112925090B (ja) |
AU (1) | AU2020398201A1 (ja) |
BR (1) | BR112021019595A2 (ja) |
CA (1) | CA3134978A1 (ja) |
IL (2) | IL302506A (ja) |
MX (1) | MX2021010437A (ja) |
SA (1) | SA521430479B1 (ja) |
TW (1) | TW202138867A (ja) |
WO (1) | WO2021113422A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220085781A (ko) * | 2019-10-21 | 2022-06-22 | 일루미나, 인코포레이티드 | 구조화 조명 현미경법을 위한 향상된 계산 효율 |
TW202138867A (zh) | 2019-12-06 | 2021-10-16 | 美商伊路米納有限公司 | 提供參數估計的裝置和方法 |
CN113466192A (zh) * | 2021-06-16 | 2021-10-01 | 浙大宁波理工学院 | 一种超高速实时超分辨率显微成像方法 |
US20230082607A1 (en) * | 2021-09-14 | 2023-03-16 | The Texas A&M University System | Three dimensional strobo-stereoscopic imaging systems and associated methods |
CN115615359B (zh) * | 2022-11-15 | 2023-03-10 | 中国科学院长春光学精密机械与物理研究所 | 一种基于结构光投影的动态3d测量误差补偿方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771376B2 (en) * | 1999-07-05 | 2004-08-03 | Novartis Ag | Sensor platform, apparatus incorporating the platform, and process using the platform |
JP3727543B2 (ja) * | 2000-05-10 | 2005-12-14 | 三菱電機株式会社 | 画像表示装置 |
US7230695B2 (en) * | 2004-07-08 | 2007-06-12 | Asahi Glass Company, Ltd. | Defect repair device and defect repair method |
JP4606831B2 (ja) * | 2004-08-31 | 2011-01-05 | 浜松ホトニクス株式会社 | 光パターン形成方法および装置、ならびに光ピンセット装置 |
DE102006044229B4 (de) * | 2006-09-20 | 2023-09-28 | Carl Zeiss Microscopy Gmbh | Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters |
US20100157086A1 (en) * | 2008-12-15 | 2010-06-24 | Illumina, Inc | Dynamic autofocus method and system for assay imager |
US8941720B2 (en) * | 2011-02-02 | 2015-01-27 | National Tsing Hua University | Method of enhancing 3D image information density |
WO2013126762A1 (en) * | 2012-02-23 | 2013-08-29 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Office Of Technology Transfer, National Institutes Of Health | Multi-focal structured illumination microscopy systems and methods |
US9360660B2 (en) * | 2012-05-24 | 2016-06-07 | Northwestern University | Methods and apparatus for laser scanning structured illumination microscopy and tomography |
US9885859B2 (en) | 2012-07-05 | 2018-02-06 | Martin Russell Harris | Structured illumination microscopy apparatus and method |
US9350921B2 (en) | 2013-06-06 | 2016-05-24 | Mitutoyo Corporation | Structured illumination projection with enhanced exposure control |
CA2930802C (en) | 2013-08-28 | 2017-01-17 | Illumina, Inc. | Optical alignment tool |
US10247672B2 (en) * | 2014-09-29 | 2019-04-02 | Howard Hughes Medical Institute | Non-linear structured illumination microscopy |
TWI772752B (zh) | 2017-01-07 | 2022-08-01 | 美商伊路米納有限公司 | 光學偵測裝置以及方法 |
US10688488B2 (en) | 2017-01-31 | 2020-06-23 | Illumina, Inc. | Fluidic devices and methods of manufacturing the same |
NL2020623B1 (en) | 2018-01-24 | 2019-07-30 | Illumina Inc | Structured illumination microscopy with line scanning |
TW202138867A (zh) | 2019-12-06 | 2021-10-16 | 美商伊路米納有限公司 | 提供參數估計的裝置和方法 |
-
2020
- 2020-12-01 TW TW109142218A patent/TW202138867A/zh unknown
- 2020-12-03 JP JP2021557677A patent/JP2023503738A/ja active Pending
- 2020-12-03 US US17/110,406 patent/US11243390B2/en active Active
- 2020-12-03 AU AU2020398201A patent/AU2020398201A1/en active Pending
- 2020-12-03 KR KR1020217030510A patent/KR20220112175A/ko unknown
- 2020-12-03 IL IL302506A patent/IL302506A/en unknown
- 2020-12-03 WO PCT/US2020/062971 patent/WO2021113422A1/en unknown
- 2020-12-03 BR BR112021019595A patent/BR112021019595A2/pt unknown
- 2020-12-03 IL IL286661A patent/IL286661B2/en unknown
- 2020-12-03 CA CA3134978A patent/CA3134978A1/en active Pending
- 2020-12-03 EP EP20829106.2A patent/EP4070145A1/en active Pending
- 2020-12-03 MX MX2021010437A patent/MX2021010437A/es unknown
- 2020-12-04 CN CN202011415877.9A patent/CN112925090B/zh active Active
- 2020-12-04 CN CN202211279924.0A patent/CN115576094A/zh active Pending
-
2021
- 2021-09-30 SA SA521430479A patent/SA521430479B1/ar unknown
- 2021-12-22 US US17/558,829 patent/US11885953B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11243390B2 (en) | 2022-02-08 |
CN112925090B (zh) | 2022-11-04 |
CN112925090A (zh) | 2021-06-08 |
IL286661B1 (en) | 2023-06-01 |
SA521430479B1 (ar) | 2023-01-10 |
AU2020398201A1 (en) | 2021-09-23 |
US11885953B2 (en) | 2024-01-30 |
CA3134978A1 (en) | 2021-06-10 |
CN115576094A (zh) | 2023-01-06 |
IL302506A (en) | 2023-06-01 |
WO2021113422A1 (en) | 2021-06-10 |
US20220113532A1 (en) | 2022-04-14 |
IL286661B2 (en) | 2023-10-01 |
MX2021010437A (es) | 2022-01-11 |
IL286661A (en) | 2021-10-31 |
WO2021113422A8 (en) | 2021-09-10 |
BR112021019595A2 (pt) | 2021-11-30 |
TW202138867A (zh) | 2021-10-16 |
KR20220112175A (ko) | 2022-08-10 |
EP4070145A1 (en) | 2022-10-12 |
US20210173194A1 (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023503738A (ja) | パラメータ推定を提供する装置及び方法 | |
CN114829906B (zh) | 用于结构化照明显微术的系统和方法 | |
US20230393379A1 (en) | Apparatus and method of estimating values from images | |
JP7126257B2 (ja) | 光学計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231115 |