JP2023179460A - 特異分布と深層学習とに基づく超解像計測法 - Google Patents
特異分布と深層学習とに基づく超解像計測法 Download PDFInfo
- Publication number
- JP2023179460A JP2023179460A JP2023145711A JP2023145711A JP2023179460A JP 2023179460 A JP2023179460 A JP 2023179460A JP 2023145711 A JP2023145711 A JP 2023145711A JP 2023145711 A JP2023145711 A JP 2023145711A JP 2023179460 A JP2023179460 A JP 2023179460A
- Authority
- JP
- Japan
- Prior art keywords
- light
- measurement
- deep learning
- singular
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 92
- 238000013135 deep learning Methods 0.000 title claims abstract description 52
- 238000000691 measurement method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 112
- 230000003068 static effect Effects 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 description 35
- 230000008569 process Effects 0.000 description 31
- 241000700605 Viruses Species 0.000 description 26
- 230000003993 interaction Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 13
- 241000282326 Felis catus Species 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000000386 microscopy Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 238000011002 quantification Methods 0.000 description 7
- 238000001069 Raman spectroscopy Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- CNJLMVZFWLNOEP-UHFFFAOYSA-N 4,7,7-trimethylbicyclo[4.1.0]heptan-5-one Chemical compound O=C1C(C)CCC2C(C)(C)C12 CNJLMVZFWLNOEP-UHFFFAOYSA-N 0.000 description 5
- 239000011324 bead Substances 0.000 description 5
- 239000013078 crystal Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- 230000004992 fission Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 206010022000 influenza Diseases 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000003470 mitochondria Anatomy 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 208000007578 phototoxic dermatitis Diseases 0.000 description 4
- 231100000018 phototoxicity Toxicity 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000002438 mitochondrial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 241000712431 Influenza A virus Species 0.000 description 2
- 241001272720 Medialuna californiensis Species 0.000 description 2
- 102000017500 Septin 2 Human genes 0.000 description 2
- 108050005721 Septin 2 Proteins 0.000 description 2
- 230000004900 autophagic degradation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000021164 cell adhesion Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010869 super-resolution microscopy Methods 0.000 description 2
- 241000712461 unidentified influenza virus Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 101150006098 Dnm1l gene Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 101710154606 Hemagglutinin Proteins 0.000 description 1
- 102000005348 Neuraminidase Human genes 0.000 description 1
- 108010006232 Neuraminidase Proteins 0.000 description 1
- 101710093908 Outer capsid protein VP4 Proteins 0.000 description 1
- 101710135467 Outer capsid protein sigma-1 Proteins 0.000 description 1
- 101710176177 Protein A56 Proteins 0.000 description 1
- 102000015602 Septin Human genes 0.000 description 1
- 108050004875 Septin Proteins 0.000 description 1
- 238000003782 apoptosis assay Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 235000021028 berry Nutrition 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000185 hemagglutinin Substances 0.000 description 1
- 239000012678 infectious agent Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000037452 priming Effects 0.000 description 1
- 230000005522 programmed cell death Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000010857 super resolution fluorescence microscopy Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001018 virulence Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2408—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring roundness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【課題】物理的オブジェクトを特徴付ける幾何学的特徴の固有の幾何学的パラメータの値を決定し、各幾何学的形状が発光オブジェクトをモデル化する方法を提供する。【解決手段】第1波長と特異点の位置とを特徴とする特異光分布は、物理的オブジェクトに投影される。幾何学的特徴と相互作用し、検出器に衝突する特異光分布によって励起された光が検出され、1または複数の位置で戻りエネルギー分布が識別され、定量化される。検出光をニューラルネットワークレイヤーの直接入力として使用し、静的または動的な複数の形状として、シーンの分類に適合された、深層学習またはニューラルネットワークレイヤーが使用され得、形状は、学習によって事前に決定または取得された形状のセットの一部である。【選択図】図4
Description
本願は、いずれも2017年8月30日に出願され、いずれも参照により本明細書に組み込まれる、2つの米国仮出願第62/551,906号および62/551,913号の優先権を主張する。
本発明は、機械、表現、および深層学習を使用した幾何学的特徴の光学測定のための方法および装置に関し、より詳細には、投影された特異光分布を使用した光学測定に関する。
計測は、測定の技術分野である。蛍光、多光子イメージング、ラマン散乱、光透過、反射、または光散乱に基づいた測定は、1873年にエルンストアッベが述べた限界にまで実際に分解能が制限されている。アッベ限界は、以下で説明するように、サンプルからの光を照射または収集するために使用される光学システムの開口絞りによる回折に起因して発生する。
一部の生物学的オブジェクトおよびライフサイエンスオブジェクトは、基本的な幾何学的形状として数学的にモデル化され得る。このようなモデルのパラメータの正確な定量化は、現代の生物学および生命科学の課題の一つであり、生物学的オブジェクトとその機能に関する隠された情報を直接または統計的に明らかにする。参考により本明細書に組み込まれる、米国特許第9,250,185号のSirat(以下、「Sirat’185特許」という)は、「発光生物学的オブジェクト(luminous biological object)」を、物理的オブジェクトの「マップ」として、「…一般意味論という意味で」と定義する。(Sirat’185特許、カラム18、15-22行目)
形状またはオブジェクトの他の幾何学的属性の測定は、「発光生物学的オブジェクト」からの要素および/または再構成データにパラメータ化された形状仮定-本発明では数学的事前(mathematical prior)と呼ぶ-を適用し、データから形状のパラメータを取得することで構成される。さらに陽性という、別の数学的制約がデータに存在し、それは、光強度の固有の陽性である。
従来技術では、数学的事前制約と陽性制約の両方が従来のイメージングパラダイムに依存する。イメージの取得と再構成の後、後処理工程として、得られたイメージに数学的事前制約と陽性制約とを適用する必要がある。このイメージングパラダイムは、形状測定がイメージそのものではなくイメージの付随現象として考えられていた顕微鏡法の最も初期の時代にまでさかのぼられ得る。
形状の仮定は強力な数学的事前であり、本発明が以下で説明されると、解の自由度の数を大幅に減らし、解のために埋め込まれたパラメトリック空間を作成する。本明細書で使用する場合、「数学的事前」という用語は、目前の問題の自由度の数を減らす測定結果に関する数学的仮定を指すものとする。過去に行われたように、一般的なイメージングパラダイムを使用して取得されたデータに関して、取得および再構成プロセスの後に数学的事前を適用すると、計測プロセス全体の精度が低下する。
歴史的視点
歴史的視点
1840年から1905年まで生きていたエルンストアッベは、新しいハードウェアとソフトウェアのトレーニングを終えた後、イメージングと測定に最新世代の生物顕微鏡を快適に使用できたであろう。生物学的イメージングおよび計測法の永続性は、とりわけ、われわれの前任者によって開発されたコンセプトの品質によるものであるが、根付いた作業手順を変更するのが難しいためでもある。
しかし、いくつかの新しいトレンドは、生物学においてさえも、定着した顕微鏡観察の原型を揺さぶっている。主要な進化は、包括的な統計的方法で生物学的オブジェクトのモデルの基本的なパラメータを正確に定量化し、イメージまたは仮定のみに基づいて生物学的観察を基にしたくないという願望から生じる。
J. Shamir, “Singular beams in metrology and nanotechnology,” Opt. Eng., vol. 51, 073605 (2012)、および、米国特許第7,746,469号(両方とも参照により組み込まれる)では、粒子サイズの分布を定量化するために特異光分布の使用が提案されている。
発明者の知る限りでは、光子自体を使用しないヌルイメージを作成して、光自体がイメージングされる場所では達成できない解像度を実現することは提案されていない。特に、Shamirの教示は、反射、透過、(弾性)散乱などの弾性相互作用を使用している。ヌルイメージに基づいて情報を取得することは有利であり、以下で詳細に説明する本発明は、そのようなイメージングがどのように実行されるかを示す。
背景:技術幾何学的形状のパラメータの測定
背景:技術幾何学的形状のパラメータの測定
生物顕微鏡で使用されるすべての測定システムと方法をレビューする必要はないが、理論的には、形状を表すパラメータを含むいずれのパラメータの測定限界は、最終的に信号対ノイズによって決定され、以下に定義するCramer Rao下限(Cramer Rao lower bound)、CRLBを使用して定量化され得る。しかし、形状関連のパラメータの場合、計算の条件が悪く、実用的および実験的条件のために正確ではない測定に依存する。
例として、参考により本明細書に組み込まれる、Gustafsson, ’’Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution,’’ Proc.Nat. Acad.Sci., vol. 102, pp. 13081-86 (2005)は、非線形構造照明顕微鏡法、超解像技術、非線形飽和効果と構造照明との結合を発表した。Gustafssonの技術は、顕微鏡技術の当業者によって模範と考えられており、最良の場合、50nmの解像度を示した。この測定は、高エネルギーレベルを維持でき、光退色や光毒性が生じにくい、較正された、分離された、平面の、同一の製造ビーズで実行され、これは、解像度の限界とほぼ同じサイズのビーズである51nmの正確な直径になるようにGustafssonによって選択された。
正確な手順で計算された、前述のデータ、ビーズサイズの影響、形状パラメータの可能な限りの単純な測定(「既知のビーズ形状は、線形デコンボリューションによって再構成から削除された」)に基づいて、Gustafsson2004は、彼の実験で定義された「システムルーラー」の10%未満であった。ビーズの未知の直径の値を定量化する手順として同じ実験を実行した場合、相対精度は5%になり、この理想的なケースではパフォーマンスが比較的低下する。これは、本発明による以下に説明するような形状パラメータの測定のための改善されたツールの望ましさを示す。
深層学習の背景
深層学習の背景
豊富な文献が深層学習を取り巻いている。読者は、ウィキペディア、https://en.wikipedia.org/wiki/Deep_learningおよびそこに引用される参照文献を参照する。深層学習の概念の統合は、参考により本明細書に組み込まれ、以下で使用されるいくつかの基本概念を定義する、LeCun et al., “Deep learning,” Nature, vol. 521, pp. 436-45 (2015)(以下、「LeCun2015」という)に見いだされ得る。LeCun2015によると、
表現学習は、機械に生データを供給し、検出または分類に必要な表現を自動的に発見できるようにする方法のセットである。深層学習法は、表現の複数のレベルを持つ表現学習法であり、単純ではあるが非線形のモジュールを構成し、それぞれが1つのレベル(生の入力から始まる)の表現を、より高い、わずかに抽象的なレベルの表現に変換することによって得られる。十分なこのような変換の構成により、非常に複雑な機能を学習し得る。分類タスクの場合、表現の上位レイヤーは、差別化に重要な入力の側面を増幅し、無関係な変動を抑制する。例えば、イメージはピクセル値の配列の形で提供され、表現の最初のレイヤーで学習された特徴は通常、イメージ内の特定の方向と位置でのエッジの有無を表す。通常、第2レイヤーは、エッジ位置のわずかな変動に関係なく、エッジの特定の配置をスポットすることでモチーフを検出する。第3レイヤーは、モチーフをおなじみのオブジェクトの部分に対応するより大きな組み合わせに組み立てることができ、後続のレイヤーはオブジェクトをこれらの部分の組み合わせとして検出する。深層学習の重要な側面は、これらの機能のレイヤーがヒトのエンジニアによって設計されていないことであり、これらは、汎用の学習手順を使用してデータから学習される。
(LeCun2015、p.436、強調を追加)
表現学習は、機械に生データを供給し、検出または分類に必要な表現を自動的に発見できるようにする方法のセットである。深層学習法は、表現の複数のレベルを持つ表現学習法であり、単純ではあるが非線形のモジュールを構成し、それぞれが1つのレベル(生の入力から始まる)の表現を、より高い、わずかに抽象的なレベルの表現に変換することによって得られる。十分なこのような変換の構成により、非常に複雑な機能を学習し得る。分類タスクの場合、表現の上位レイヤーは、差別化に重要な入力の側面を増幅し、無関係な変動を抑制する。例えば、イメージはピクセル値の配列の形で提供され、表現の最初のレイヤーで学習された特徴は通常、イメージ内の特定の方向と位置でのエッジの有無を表す。通常、第2レイヤーは、エッジ位置のわずかな変動に関係なく、エッジの特定の配置をスポットすることでモチーフを検出する。第3レイヤーは、モチーフをおなじみのオブジェクトの部分に対応するより大きな組み合わせに組み立てることができ、後続のレイヤーはオブジェクトをこれらの部分の組み合わせとして検出する。深層学習の重要な側面は、これらの機能のレイヤーがヒトのエンジニアによって設計されていないことであり、これらは、汎用の学習手順を使用してデータから学習される。
(LeCun2015、p.436、強調を追加)
現在実践されている深層学習ネットワークの原型には、取得したイメージの処理が含まれる。図6は、LeCun2015の教示に続く、従来技術による深層学習ネットワークの例である。猫の絵で示されている画像10は、ネットワークの入力である。第1レイヤー11は、典型的には、画像内の特定の向きおよび位置でのエッジの有無を学習する。汎用の学習手順を使用してデータから学習した、数字12および13で概略的に表される追加のレイヤーは、犬ではない猫種を識別し得る。
本明細書で使用される「CODIM」は、参照により本明細書に組み込まれる、Caron, et al. (2014). ’’Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging.’’ Cell adhesion & migration, vol. 8, pp. 430-439 (2014)(以下、「Caron2014」という)に記載されている円錐解析顕微鏡法(COnical DIffraction Microscopy)ハードウェアを指す。Caron2014で説明されているハードウェアの使用は、「イメージングケース」と呼ばれる。「計測ケース」として以下で説明するハードウェアのセットアップと使用は、従来技術の一部ではない。イメージングケースにおいて、特異光分布は、デカルト座標である通常のグリッド、または取得したデータの関数として最適化されたグリッドに投影される。
深層学習ネットワークまたは機械学習ネットワークでCODIMを適用する標準的な方法は、イメージを再構成し、再構成されたイメージに既知のアルゴリズムを適用することである。このような方法の制限は、イメージの再構成に伴う時間の負担と情報の破損である。
Sirat’185特許は、以下を述べている。
測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。この測定マップは、ノイズ、測定条件、システム制限、または測定の不確実性により、元のマップとは異なる。この情報マップは、後でさまざまな抽象化レベルに展開され得る。
(Sirat’185特許、カラム18、37-42行目、強調を加えた)
測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。この測定マップは、ノイズ、測定条件、システム制限、または測定の不確実性により、元のマップとは異なる。この情報マップは、後でさまざまな抽象化レベルに展開され得る。
(Sirat’185特許、カラム18、37-42行目、強調を加えた)
Sirat’185特許はさらに以下を教示する。
原始情報は、一般的なセマンティクスの用語のマップであり、記述子の蛍光団とその経時的な進化のセットである。生物学的および幾何学的情報は、この原始情報の外挿にすぎない。測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。
(Sirat’185特許、カラム18、32-37行目)
原始情報は、一般的なセマンティクスの用語のマップであり、記述子の蛍光団とその経時的な進化のセットである。生物学的および幾何学的情報は、この原始情報の外挿にすぎない。測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。
(Sirat’185特許、カラム18、32-37行目)
Sirat’185は、「測定システムは、・・・測定マップの評価を計算する」(同上、強調追加)と仮定し、測定マップをいずれの情報収集の前提条件として見ている。情報収集の前提条件として測定マップを必要とする際、Sirat’185は、「測定マップ」が同じパラグラフのSirat’185で説明されている幾何学的および生物学的抽象レベルとしてのさらなる処理の前提条件であるという一般的なコンセンサスに従った。
本発明の実施形態によれば、物理的オブジェクトを特徴付ける特定の次元の幾何学的特徴の固有の幾何学的パラメータの値を決定する方法が提供される。方法は、
a.第1波長と特異点の位置とを特徴とする特異光分布を物理的オブジェクトに投影する工程と、
b.幾何学的特徴と相互作用し、検出器に衝突する励起された前記特異光分布により励起された光を検出し、前記光は検出光から構成される工程と、
c.固有の幾何学的パラメータの定量化として、前記特異光分布の1つまたは複数の位置での戻りエネルギー分布を識別および定量化する工程と、
d.エネルギー分布から取得したパラメータに基づいて、前記固有の幾何学的パラメータの値を決定する工程と、を有する。
a.第1波長と特異点の位置とを特徴とする特異光分布を物理的オブジェクトに投影する工程と、
b.幾何学的特徴と相互作用し、検出器に衝突する励起された前記特異光分布により励起された光を検出し、前記光は検出光から構成される工程と、
c.固有の幾何学的パラメータの定量化として、前記特異光分布の1つまたは複数の位置での戻りエネルギー分布を識別および定量化する工程と、
d.エネルギー分布から取得したパラメータに基づいて、前記固有の幾何学的パラメータの値を決定する工程と、を有する。
本発明の他の実施形態によれば、固有の幾何学的パラメータの単一または組を検索するような方法で、前述の方法の連続的な適用が実行される。前記固有の幾何学的パラメータは、ポイントオブジェクトのサイズと楕円率のいずれかである。線を横断するオフセットである変位の測定値を決定し得る。
本発明のさらなる実施形態によれば、前記固有の幾何学的パラメータは線の幅であってもよい。前記固有の幾何学的パラメータは、前記幾何学的特徴のモデル形状に基づいてもよい。光を検出する工程は、ピクセル化された検出器を使用することを含み得る。
本発明の別の態様によれば、適切なパラメータのセットによって定量化された静的または動的な少なくとも1つの幾何学的形状にシーンを分類するための表現学習のための方法が提供され、各幾何学的形状は発光オブジェクトをモデリングする。方法は、
a.光の特異分布をシーンに投影する工程と、
b.各発光オブジェクトと相互作用し、検出器に当たる特異光分布による照明時に前記シーンによって再放射される光分布を検出し、検出された前記光は検出光から構成される工程と、
c.特定の位置で特異分布の少なくとも1つの投影を測定して、シーンに関する測定のセットを取得する工程と、
d.前記検出光をニューラルネットワークレイヤーの直接入力として使用し、物理的もしくは生物学的な複数のオブジェクトとして、または、静的もしくは動的な幾何学的形状として、前記シーンを分類するように適合された、深層学習またはニューラルネットワークレイヤーを使用し、前記オブジェクトまたは形状は、学習によって事前に決定または取得されたオブジェクトまたは形状のセットの一部である工程と、を有する。
a.光の特異分布をシーンに投影する工程と、
b.各発光オブジェクトと相互作用し、検出器に当たる特異光分布による照明時に前記シーンによって再放射される光分布を検出し、検出された前記光は検出光から構成される工程と、
c.特定の位置で特異分布の少なくとも1つの投影を測定して、シーンに関する測定のセットを取得する工程と、
d.前記検出光をニューラルネットワークレイヤーの直接入力として使用し、物理的もしくは生物学的な複数のオブジェクトとして、または、静的もしくは動的な幾何学的形状として、前記シーンを分類するように適合された、深層学習またはニューラルネットワークレイヤーを使用し、前記オブジェクトまたは形状は、学習によって事前に決定または取得されたオブジェクトまたは形状のセットの一部である工程と、を有する。
本発明の他の実施形態によれば、少なくとも1つの幾何学的形状は、動的または静的のいずれかであり得る。方法は、CODIMハードウェアによって取得されたイメージングデータであるデータ、または計測アプリケーションハードウェアによって取得された計測データであるデータを取得することも含み得る。
本発明のさらなる実施形態によれば、方法は、CODIMハードウェアによって取得されたイメージングデータであるデータを取得するさらなる工程を有し得、得られた分類情報は、前記計測ハードウェアを駆動して計測方法を実施するために使用される。さらなる工程は、計測ハードウェアを駆動して計測方法を実施するための制御ハードウェアおよび制御手順を提供することを含み得る。さらなる工程は、異なる時間に取得されたニューラルネットワークにデータを供給し、ニューラルネットワーク認識プロセスで発光オブジェクトの時間依存性を含むことをさらに含み得る。
本発明の前述の特徴は、添付の図面を参照して以下の詳細な説明を参照することにより、より容易に理解されるであろう。
ここでは、測定手順が個別の専用手順およびアーキテクチャであり、場合によってはイメージング手順によって初期化されるが、個別のツールである計測ツールに完全に組み込まれる新しい方法を紹介する。
以下に説明する本発明は、測定に使用される光の回折限界よりも小さい幾何学的特徴を、最小限の光束で正確に測定することを対象とする。
本発明は、特に、蛍光、多光子イメージング、またはラマン散乱などのただしこれらに限定されない非弾性光相互作用を使用した幾何学的特徴の測定に適合しており、出現する光を単純な手段で入射光から分離し得る。
本発明のいくつかの実施形態は、幾何学的および機能的特徴およびオブジェクトの機械学習のための方法、ならびにそれらを実施するハードウェアシステムに関する。これらの方法では、特徴とオブジェクトの分類と認識が必要である。これらの方法は、イメージングパラダイムおよびイメージングに続くさらなる処理に基づく実際の解とは異なる。
本発明のいくつかの実施形態は、主に蛍光顕微鏡法で実施されるシステムおよび方法を参照して説明されるが、反射光または散乱光への拡張は簡単であり、本説明を理解した当業者の範囲内であることを理解されたい。さらに、本発明は、生物学で遭遇する蛍光コブジェクトの計測ツール用のシステムおよび方法に関して本明細書で説明されているが、これらは、半導体やマシンビジョンなどの、ただしこれらに限定されない他のイメージングモダリティや他の学問分野や領域に容易に適用され得る。
再構成プロセスの前に数学的事前を適用し、取得プロセスに埋め込むと便利であるが、どのようにそれを行うことができるかについては教示されていないので、ここで詳細に説明する。本発明の実施形態による、イメージ再構成前の数学的事前の適用は、形状のパラメータの測定の精度を有利に高め、測定に必要な観察の数を減らし、プロセス全体の安定性と再現性を高め得る。
本発明の実施形態に従って説明される方法は、ポアソンの法則の特異性、明らかに光子ノイズの欠如-量子物理学の理論により、無視できる数まで-に依存し、光子が存在しない場合、光子は検出器で入射および放出され、事後補正ではない。このような方法では、フィルタリング操作により、入射光を物理的に除去するメカニズムが必要である。ノイズがシステムに既に導入されている場合、単純な手段でフィルタリングすることができないため、数学的な後処理操作にはなり得ない。これは、非弾性光相互作用の利点と特異性であり、本発明において、非弾性光相互作用とは、放射光子を入射光子から物理的に分離できるように、入射光子と区別する物理的特性を持つ新しい光子を作製(または放射)できる任意の光相互作用を指す。「フィルター」により、放射光子を入射光子から分離できると想定されている。非弾性光相互作用の明らかな例は、異なる波長で光子を生成する相互作用であり、この場合、フィルターは波長に敏感なフィルターになるであろう。非弾性光相互作用の例は、蛍光、多光子イメージングまたはラマン散乱である。反射、透過、弾性散乱などの弾性光の相互作用では、簡単な方法でそのような識別を行うことはできない。
以下に説明するように、本発明の実施形態は、ヌルイメージ、またはヌル結に近い結の作製に依存する。そのような画像は、以下に説明するように、アッベの法則の抜け穴とポアソンの法則によるノイズがないことを組み合わせることにより、理論的には無制限の追加の解像度を可能にする。前提条件は、理論的な条件を満たすために必要な、偽の光子がないことである。このような条件は、蛍光、多光子相互作用、およびラマン散乱などの非弾性光相互作用を使用する場合にのみほぼ満たすことができ、入射ビームはスペクトル手段によって完全にフィルタリングできる。
ヒューリスティックな利便性のために、本明細書では本発明を仮想的な例によって説明することがある。この例は、単なる説明として使用されており、テスト済みの実験ケースを表すことを意図したものではない。特定の生物学的オブジェクトは発光オブジェクトを構成すると想定され、この生物学的オブジェクトは、説明のために、図1Aに概略的に表されるインフルエンザタイプAウイルス(IAV)であると想定される。IAVウイルスは、一般的なサイズが80~120nmであることが知られ、参照により本明細書に組み込まれる、Badham et al.らによって、“The biological significance of IAV morphology in human clinical infections is a subject of great interest,” in Filamentous Influenza Viruses, Current clinical microbiology reports, vol. 3, pp. 155-161, (2016)で議論されている。
IAVウイルスは、適切な蛍光タンパク質でその体積がすべて均一にマークされていると想定されている。3つの異なるモデルを使用して、ウイルスを説明し得る。
a.従来技術で使用されているイメージングパラダイムでは、ウイルスのサイズが小さいため、回折限界の下で、最良のモデルは、蛍光を発する発光点としてウイルスを表すことであり、実際、ウイルスの位置を正確に監視し得る。
b.あるいは、例えばnmまたはサブnmの解像度の電子顕微鏡を使用して、血球凝集素201およびノイラミニダーゼ203を含むウイルスの様々な詳細を特徴付けることができる。
c.本発明の教示によれば、中間的な方法が採用され、ウイルスは以下で定義される、球体として3次元(図2B)、もしくは、与えられた半径を伴う均一な円(図2C)としての2次元のいずれかでモデル化された、または、パラメータが、デカルト参照フレームに対する、半短軸a、半長軸b、および長軸の角度θである楕円(図2D)とする、ポイントオブジェクトとして示される。
a.従来技術で使用されているイメージングパラダイムでは、ウイルスのサイズが小さいため、回折限界の下で、最良のモデルは、蛍光を発する発光点としてウイルスを表すことであり、実際、ウイルスの位置を正確に監視し得る。
b.あるいは、例えばnmまたはサブnmの解像度の電子顕微鏡を使用して、血球凝集素201およびノイラミニダーゼ203を含むウイルスの様々な詳細を特徴付けることができる。
c.本発明の教示によれば、中間的な方法が採用され、ウイルスは以下で定義される、球体として3次元(図2B)、もしくは、与えられた半径を伴う均一な円(図2C)としての2次元のいずれかでモデル化された、または、パラメータが、デカルト参照フレームに対する、半短軸a、半長軸b、および長軸の角度θである楕円(図2D)とする、ポイントオブジェクトとして示される。
本発明のさらなる実施形態によれば、以下で詳細に説明するように、深層学習を使用することができる。
本発明の実施形態による方法は、光学系および最小光子束によって課せられる回折限界よりも高い解像度を伴う測定を有利に提供し得る。
本発明の実施形態によれば、形状仮定から生じる1または複数の数学的事前分布は、特異光分布の特定のセットに埋め込まれ、特異光分布の特性を最大限に活用することができる。この結合は、数学的事前と分布のセットとを関連付ける専用の計測ツールに基づく。言い換えると、特定の形状の測定は、それ自体が取得ツールの特性と必要な分布のタイプを決定する事前領域と解領域を数学的に定義する。
定義:本明細書および添付の特許請求の範囲で使用されるように、以下の用語は、文脈がそうでないことを要求しない限り、以下の指定された意味を有する。
本明細書および添付の特許請求の範囲で使用される「値」という用語は、パラメータに関連付けられた量を特徴付ける実数を指すものとする。実際の文脈では、パラメータに関連付けられた量は、測定の精度を構成するある範囲内で特徴付けられ得ると理解されるべきである。その場合、「値」という用語は、値の分布の略記として使用され得る。
「システムルーラー」は、識別された詳細に対するシステムの能力を特徴付けるために、イメージング技術の当業者によって考慮される値である。
イメージングシステムでは、「レイリー基準」-隣接する2つのポイントを分離する能力-は、解像可能な最小の詳細について一般的に受け入れられている基準であり、観察されたポイントまたはラインのFWHMが、多くの場合、「回折限界」の実用的な評価として使用されている場合でも、最小の解決可能な詳細を定量化するために一般的に使用される定性的な用語である。本発明では、我々は、システムルーラーとして無限に細い線のFWHMを使用する。システムルーラーよりも「非常に小さい」場合、値は無視し得、「非常に小さい」とは、3倍以上小さいと定義される。
本明細書で使用される「アッベの解像度の制限」という用語は、参照により本明細書に組み込まれる、 Schermelleh et al., ’’A guide to super-resolution fluorescence microscopy,’’ J. Cell Biology, vol. 190, pp. 165-75 (2010)(以下、「Schermelleh 2010」という)に見出されるものである。
アッベの有名な解像度の限界はオブジェクトから出てイメージに送られる対物レンズによってキャプチャされる異なる波の間の最大相対角度に単に依存するので、非常に魅力的である。このPSF「ブラシ」でイメージングされ得る可能性のある最小レベルの詳細を説明する。この最短波長よりも小さい周期的なオブジェクトの詳細は、おそらくイメージに転送できない。
アッベの有名な解像度の限界はオブジェクトから出てイメージに送られる対物レンズによってキャプチャされる異なる波の間の最大相対角度に単に依存するので、非常に魅力的である。このPSF「ブラシ」でイメージングされ得る可能性のある最小レベルの詳細を説明する。この最短波長よりも小さい周期的なオブジェクトの詳細は、おそらくイメージに転送できない。
「アッベの制限を超える」という表現は、システムルーラーの詳細よりも小さな詳細を含む周期構造を含むオブジェクトを指すように定義されており、したがって、アッベの限界によって制限される。この定義の理論的根拠は、そのようなオブジェクトには、開口面のアッベの周波数円より上の空間周波数が含まれているということである。
推定理論と統計とでは、Cramer-Rao境界(CRB)、または同等に「Cramer-Rao下限(Cramer-Rao lower bound(CRLB))」は、決定論的(未知ではあるが固定)パラメータの推定量の分散の下限を表す。本明細書で使用される正確な定義は、https://en.wikipedia.org/wiki/Cram%C3%A9r%E2%80%93Rao_boundで提供されており、参照により本明細書に組み込まれる。
本明細書で使用される「局所化」光分布という用語は、エネルギーが小さな領域に集中している光分布を指すものとする。レイリー基準の半分の3.5*半径の外側のエネルギーが実質的にゼロの場合、光分布は局所化される。
本発明の説明は、記載されている光学システムがhttps://en.wikipedia.org/wiki/Shot_noiseに記載されているように「フォトンノイズ制限」に近いか、フォトンノイズ制限、つまり、ガウスノイズ成分は光子(またはショット)ノイズの半分よりも小さい、に近いと仮定している。実際、最適なケースは、説明した「フォトンノイズ制限」光学システムであり、「ガウスノイズ制限」または「検出器ノイズ制限」システムは、本発明の利点の一部のみを収集しするが、それでも本発明の範囲に含まれる。
「半値全幅(Full width at half maximum)」(FWHM)は、ウィキペディア、https://en.wikipedia.org/wiki/Full_width_at_half_maximumから、従属変数がその最大値の半分に等しい独立変数の2つの極値間の差によって与えられる関数の範囲の表現である。
「次元」は、長さ、面積、体積の3つの物理的または空間的特性のいずれかとして定義される。幾何学では、ポイントはゼロ次元であると言われ、線などの長さだけを有する図は1次元を有し、平面または表面は2次元、そして、体積を有する図は3次元である。
幾何学的特徴の次元数は、幾何学的特徴(ポイントオブジェクトの「直径」、線の「幅」、コーティングの「厚さ」など)の範囲がゼロになる傾向がある任意の他の次元の範囲よりもはるかに小さい限界における、対応する理想化された特徴の次元を指すものとする。
本明細書で使用される「軌跡」という用語は、その場所が1つもしくは複数の指定された条件を満たしている、またはそれによって決定されている点(通常、ポイント、線、線セグメント、曲線または表面)のセットを示すものとする。
「幾何学的パラメータ」とは、物理的空間内の範囲を特徴付ける測定可能な量を指すものとする。したがって、例えば、距離(3次元ユークリッド空間または表面に沿って定義される)は、幾何学的パラメータの一例である。表面上で定義された領域は、幾何学的パラメータの別の例である。
「幾何学的特徴」とは、1または複数の幾何学的パラメータによって定量化された、軌跡として幾何学的に特徴付けられ、またはモデル化された物理的オブジェクトであり、例えば、線の太さは軌跡を表し、線は軌跡であり、または、線セグメントの位置と太さも軌跡である。「埋め込まれた空間」は、幾何学的パラメータが広がるパラメトリック空間を表す。
「ポイント」は、2次元または3次元の幾何学的特徴であり、次元とサイズはゼロである。それは誇張された単純化であり、実際のオブジェクトに関する多くの情報を消去するが、非常に仮定を単純化する。我々は、システムルーラーと比較して、3次元すべてで、サイズは小さいが無視できないサイズのオブジェクトを「ポイントオブジェクト」という。光学システムの場合は回折の限界であるシステムルーラーと比較して、小さいまたは無視できる用語を理解する必要がある。ポイントオブジェクトは、その位置とサイズによって決まり、サイズは、2次元または3次元で等方性である場合とそうでない場合がある。ほとんどの生物学的オブジェクトは、回折限界または超解像光学システムのシステムルーラーではポイントオブジェクトであり、ポイントオブジェクトによって運ばれる情報の先験的な解散は大きな損失である。本発明では、ポイントとポイントオブジェクトの間の区別が非常に重要である。
「線」(および同様に、理論的には1次元の形状を指す他の用語・・・)とは、長さが幅または厚さの少なくとも10倍の幾何学的特徴(つまり、長さ、幅、および厚さを有する物理的オブジェクト)を指す。「線オブジェクト」は、ポイントオブジェクトと同じ概念に従って定義される。
本明細書および添付の特許請求の範囲で使用される「固有の幾何学的パラメータ」という用語は、ユークリッド空間での表面の等尺性埋め込みに依存しない(n次元空間での)表面の特性を特徴付けるパラメータを指すものとする。したがって、例えば、与えられたポイントを介した「線」の幅は、空間の線の任意の方向に関係なく、線の固有のパラメータである。
抽象的な空間の幾何学的要素を参照すると、パラメータのセットは、パラメータのセットによって記載される幾何学的要素の表現が、測定の不確かさの限界でオブジェクトの幾何学的クラスとパラメータとを忠実に表す場合だけに限り、「適切」と呼ばれるべきである。
最も簡単な例として「光学渦」を含む「特異光学」は、今日、理論的および実用的なアプリケーションを備えた光学分野の新たな領域である。詳細は、いずれも参照により本明細書に組み込まれる、Nye, et al., Dislocations in wave trains. Proceedings of the Royal Society of London A, vol. 336, pp. 165-90 (1974),およびSoskin, et al., ’’Singular optics,’’ Progr. in Optics, vol. 42, pp. 219-76に見出され得る。
「非弾性光相互作用」とは、光と物質との相互作用を指し、入射ビームとは波長が異なる光子を生成する。非弾性光相互作用には、蛍光、多光子相互作用、およびラマン散乱が含まれるが、これらに限定されない。
「特異分布の軌跡」は、特異分布の強度がゼロであるデカルト位置の集合である。特異分布の軌跡は、適切なパラメータを備えた「名目上のパラメータ」であり、正しい位置にある基本形状のファミリーを定義し、「名目上の位置」は、光を放出(または反射または散乱)しない。この場合、我々は、新しいコンセプトを作り出し、「特異光分布が形状を埋め込んでいる」ことを表現する。例えば、図2のケース10(または01)で、渦として示されている光分布の場合、軌跡は非常に小さな点であり、渦を使用して調べることができる形状のファミリーは、ポイント形状とポイントオブジェクト形状のみであり、それは、値ゼロの半径ではエネルギーも生成しない。「垂直半月」と名付けられた、図2のケース42(または24)として説明されている分布の場合、関連する形状のファミリーはより多様で、線や線オブジェクトだけでなく、複数のポイント形状やポイントオブジェクトも含まれる。追加のケースは、以下で展開されよう。
円錐屈折は、 Hamilton, ’’Third supplement to an essay on the theory of systems of rays,’’ Trans. Royal Irish Acad., vol. 17, pp. 1-144 (1837)により予言され、Lloyd, Lloyd, H. (1831). ’’On the Phenomena Presented by Light in Its Passage along the Axes of Biaxial Crystals,’’ Philos. Mag., vol. 1, pp. 112-20 (1831)により2ヶ月後に実験的に確認された光学現象である。前述の参考文献の両方は、参照により本明細書に組み込まれる。円錐屈折は、2軸結晶の光軸の方向への光線の伝播を表す。Hamiltonは、光が中空の円錐状の光線の形で現れると予測した。
説明は、参考により本明細書に組み込まれる、Berry, ’’Conical diffraction asymptotics: fine structure of Poggendorff rings and axial spike,’’ J. Opt. A: Pure and Applied Optics, vol. 6, pp. 289-300 (2004)において提供される。超解像顕微鏡法のための円錐回折に基づく従来技術のシステムは、Sirat2016に記載されている。
米国特許第8,514,685号(Sirat’685)は、薄い結晶における円錐回折の特定の特性を説明し、円錐ビームを成形するための円錐回折の使用を示した。薄い2軸結晶は、通常の入射ビームの点広がり関数(Point Spread Function (PSF))を広範囲の光分布に変換し、分布の選択は、入力偏光と出力偏光によって制御される。実際には、制御可能な偏光子の間に2軸結晶を封入することにより、ビーム成形が実現される。偏光計に似たこのシンプルな光学セットアップは、あるパターンから別のパターンに異なるトポロジーでマイクロ秒単位で、またはさらに高速に切り替えることができる。さらに、これらのパターンは、同じ1次光ビームによって生成されるため、完全に共存する。
CODIMビームシェーパーは、スキャンモジュールのアドオンとして使用され得、分布はサンプル上でスキャンされ、各スキャンポイントに対して複数のマイクロイメージが生成される。CODIMシステムは、フランスのパリにあるBioAxial SASから入手できる。
CODIMビームシェーパーは、円錐回折原理を使用して、コンパクトで局所的な光分布を生成する。各マイクロイメージには、アッベの限界に近い高周波数が大量に含まれている(図1に示すように、エアリーパターン101と比較して3に近い係数まで)。「シーン」と呼ばれるサンプルの領域に投影されるこれらの光分布は、当業者に周知のアルゴリズムを使用して分析される。マイクロイメージから超解像イメージを導出するのに適したアルゴリズムの例については、読者は、公開された出願WO2016/092161(US2017/0336326として英語で公開され、以下「Sirat’161出願」という)を参照し、これは参照により本明細書に組み込まれる。これにより、一般的なオブジェクトの場合、解像度を最大2倍に改善して、超解像イメージを再構成できる。さらに、陽性の制約とスパース性を活用するこれらのアルゴリズムにより、適切なサンプルに対して解像度をさらに向上させ得る。
最終的に、はるかに低い分布ピーク電力、高量子収率カメラの使用、およびより長いカメラ露出時間の組み合わせにより、サンプルに送られる光のピーク電力-とエネルギー-が大幅に減少する。これが、この方法の非常に低い光退色および光毒性の理由である。これにより、フルオロフォアの飽和の問題も回避され、方法が線形かつ定量的になる。
本説明では、「エネルギー法則」という用語は次のように定義される。オブジェクトが数学的な抽象化、幾何学的形状としてモデル化されていると仮定すると、「エネルギー法則」は、形状パラメータおよび位置の関数としてのエネルギー間のパラメトリックな関係である。それは、パラメトリック空間のエネルギー依存性を定量化する関係を作成する。エネルギー法則には、幾何学的形状と同一の形状の発光オブジェクトから放出されるエネルギー分布が含まれ得る。
本説明では、Sirat’185で説明されているように、あるタイプの配布から別のタイプに切り替えるような方法で、光学特異分布は、所定の分布ファミリーから制御され得、外部手段を使用して光学特異分布のパラメータを変更できると想定されている。他の解が存在し、光学特異分布を制御する必要はなく、本発明の一部であるが、それらははるかに扱いにくいだろう。
本発明による方法を使用して実行されるイメージングは、「複合イメージング」と呼ばれ得、ウィキペディア、https://en.wikipedia.org/wiki/Coded_apertureで定義されているように、コード化イメージングとも呼ばれ得、または、オブジェクトを説明するSirat’185特許の趣旨において、シーンからの要素データがイメージまたはマップではないイメージングプロセスに関する「間接イメージング」とも呼ばれ得る。複合イメージングプロセスでは、物理的な機器によって測定されたデータは、「中間結果」(Sirat‘161出願で使用される用語)と呼ばれ、または、本説明で同義語として使用される要素(または基礎)データには、再構成プロセスを通じて再構成イメージを作成できる情報が含まれる。本発明では、我々は、本発明において複合イメージングプロセスを、イメージの特定のピクセルまたはマップ内の要素の特定の属性に対して特定の時間および位置で測定された光子の強度または光子の数を想定することはできないイメージングプロセスとして識別する。簡単に言うと、複合イメージングシステムでは、光子の強度または数はピクセルデータに直接変換されないが、それらのいくつかに関連する情報が含まれている。
超解像顕微鏡の領域では、CODIMイメージングは、Sirat’185特許で参照されている複合イメージングプロセス、構造化照明顕微鏡(Structured Illumination Microscopy(SIM))、またはPALM/STORMなどの局在顕微鏡技術の1例である。
「測定手順」は、「基本特異測定」のセット、ならびに光検出器に記録された、ピクセル化されているかどうかにかかわらず、オブジェクトから入射する光、その強度、および任意でその空間分布を定量化する「光測定」のセットからなり、各基本特異測定は、所定の特異光分布の投影からなり、与えられたパラメータで、特異分布の軌跡が幾何学的形状を名目上のパラメータに埋め込むように配置される。場合によっては、情報収集を完了するために、所定の規則的な光分布の投影からなる「基本規則的測定」を使用することもできる。
測定の「入力」とは、光学特異分布の位置、そのタイプ、およびパラメータを指す。「出力」は、測定で記録された光強度、および/または光分布である。我々は、読者は当業者であり、「制御理論」に精通していると想定している。制御理論は工学と計算数学の学際的分野であり、入力を伴う動的システムの動作、およびそれらの動作がフィードバックによってどのように変更されるかを扱う(Wikipediaから)。
「制御手段」とは、制御ハードウェアのセットを指し、入力と「制御アルゴリズム」を変更でき、正確にパラメータを取得するのに適切な方法で「エネルギー法則」を直接または逐次近似することで定量化するために必要な入力値の次の工程を予測し得る。「逆エネルギー法則」は、単一の特異分布または特異分布のセットの測定のセットから形状のパラメータを取得できる、最適または最適でないレシピである。それは、制御アルゴリズムに組み込まれる。それは、システムの機能パラメータ、生物学的オブジェクトに衝突する全体的なエネルギー-もしくはパワー-、測定速度、上記の組み合わせ、またはシステムの他の機能パラメータを最適にするために選択される。
特異分布の文脈では、「ゼロに近い値」は、投影光の最大値がこのポイントに衝突している場合。投影光または放出エネルギーで利用可能な最大強度よりもかなり小さい投影強度または放出エネルギーを定性的に説明するために使用されるエネルギーを指す。最大強度で照らされた場合、ゼロに近い強度またはエネルギーの定量値は、投影強度と分布の最大強度の間、または放出エネルギーと放出エネルギーの間で6倍である。ポアソンノイズを仮定すると、ゼロに近いエネルギーのノイズ値は最大エネルギーよりも著しく小さく、2.5倍未満近くなることを言及する価値がある。同様に、「ゼロに近い」幾何学的形状のパラメータ値は、パラメータの全範囲を2.5で割った値よりも小さくなる。
本発明の実施形態によれば、観察されるオブジェクトは、事前に知られているもしくは仮定されている特定の形状として、または潜在的な形状のリスト内の形状としてモデル化され得る。幾何学的形状は、次の点から説明され得る。
a.空間的位置、形状の「位置」は、形状、ほとんどの場合、光分布の重心で決定された原点の位置を指す。
b.「形状パラメータ」を記述する「構造パラメータ」のセット、例えば、半径が等方性の円(図2C)について、楕円(図2D)、楕円の半軸の軸と角度とで表されるオブジェクトについて。
a.空間的位置、形状の「位置」は、形状、ほとんどの場合、光分布の重心で決定された原点の位置を指す。
b.「形状パラメータ」を記述する「構造パラメータ」のセット、例えば、半径が等方性の円(図2C)について、楕円(図2D)、楕円の半軸の軸と角度とで表されるオブジェクトについて。
本明細書で使用される「機械学習」という用語は、明示的にそうするようにプログラムすることなく、統計的手法を使用して、コンピューターシステムにデータを「学習」する(例えば、特定のタスクのパフォーマンスを段階的に向上させる)能力を与えるコンピューターサイエンスの分野を指す。
「表現学習」および「深層学習」という用語は、上記の¶[0015]で説明したように、LeCun2015に従って使用される。
LeCun2015は、一方では「表現学習」と「深層学習」との境界と、他方では「表現学習」と標準的な「機械学習」との境界を明確に描く。
LeCun2015は、一方では「表現学習」と「深層学習」との境界と、他方では「表現学習」と標準的な「機械学習」との境界を明確に描く。
「表現学習」および「深層学習」という用語は、本発明のすべての実施形態が両方に適用されるため、本明細書では互換的に使用される。本発明の一部は、機械学習にも適用され得る。
計測ケース(上記で定義)では、識別されたオブジェクトの名目上の位置でデータが取得される。「名目上の位置」は、オブジェクトを指す場合、以前の知識または仮説からオブジェクトの位置であると仮定された位置を意味するものとする。
本説明の目的のために、オブジェクトの名目上の位置を収集するために別個のメカニズムが使用されたと想定される。本発明の範囲内で、このメカニズムは、例えば、別のイメージングモダリティ内の、またはカメラ上で直接オブジェクトによって作成された光分布の重心の測定など、任意の位置特定技術を使用してもよい。
発明の根拠
発明の根拠
本発明は、幾何学的形状としてモデル化された生物学的、生命科学または物理的オブジェクトのパラメータの測定のための新しい方法を紹介する。本明細書に詳細に記載されている方法に従って、システムは、基本的な幾何学的形状のパラメータ値に直接アクセスするために作成され、この方法とシステムは、特異光分布の特性を利用し、イメージングのような回折や、イメージングパラダイムと画像処理ツールを使用したパラメータ評価のような光子束によっても制限されない。
ここで説明する新しい測定方法は、測定へのアッベの解像度制限の直接適用の特定の制限という形で、最初に本明細書で説明した我々の知識に対する物理的洞察と相関する。
確かに、参考により本明細書に組み込まれる、Schermelleh 2010またはHorstmeyer, et al., ’’Standardizing the resolution claims for coherent microscopy.’’ Nature Photonics 10, pp. 68-71 (2016)によって説明されるように、アッベの解像度法則に戻ると、 アッベの限界を超えて情報を再構成するすべての「帯域幅外挿」技術は、事前の知識、仮定、または推測に依存し、いくつかのケースでは、これらは間違っている可能性がある。本明細書では、アッベの解像度法則を超えて、事前知識、仮定、推測なしに、測定についての知識の唯一のケース、黒い(ヌル)イメージのケース・・・を説明する。
陽性の制約により、ヌルイメージには信号が含まれていないため、アッベの制限を超えて上下の空間周波数はなく、すべての周波数コンテンツはゼロであることが完全にわかっている・・・。ヌルイメージにより、回折限界の光学測定から、アッベの限界を超えるゼロまでの高周波成分を定量化し得る。
これは、アッベの法則の素朴な見方に敵対的であり、アッベの法則は、アッベの限界を超える光学プロセスでは情報を取得できないと理解されている。本発明で説明される事例は、たとえそれが非常に特異的であっても、限界を超えて、理論的には無限大までの情報を収集することを可能にし、よって回折は無制限である。
この条件は、光学系および同様のユニポーラ信号に固有のものであり、回折限界とは無関係に、解に対する追加の物理的制約である陽性の制約によるものである。これらの概念は、電気信号または同様のバイポーラ信号には迅速に適用されない。陽性の制約は、何らかの理由で追加情報を許可することが知られているが、情報の拡張への寄与は、実際のほとんどの場合、わずかであり、十分に特性化または定量化されていない。本発明では、陽性の制約の影響は明確かつ決定的であり、アッベの限界の上下の空間周波数の正確な定量化を可能にする。
アッベの解像度のいくつかの定式化が共存する。アッベの解像度の好ましい表現は、Schermelleh 2010のそれである。「この最短波長よりも小さい周期的なオブジェクトの詳細は、おそらくイメージに転送できない」。(Schermelleh 2010のp.166)本発明の結果は、アッベの解像度法則の帰結を構成し、例外ではない。
しかし、本発明の結果は確かに例外であり、科学文献で広く知られているアッベの解像度法則の定式化の反論であり、「アッベの解像度の限界を超える周波数成分は測定できません」という慎重な表現ではない。
ほとんどの場合、ヌルイメージには情報が含まれておらず、この特異ポイントまたは例外は役に立たず些細なものであり、これらの場合のこの議論は無意味で空に見えるかもしれない。しかし、サイズがゼロの場合にのみ、名目上の位置に配置された光学渦によって照らされた、特定のサイズの孤立点の記録イメージは、まったくゼロになる。この特定のケースでは、イメージとそのすべての周波数成分の完全なヌル化は強力な尺度であり、これにより、ポイントのようなオブジェクトの位置だけでなく、後述するサイズも取得し得る。
本発明は、任意の複合イメージングシステムに適用することができ、CODIMイメージングの場合により詳細に例示される新しい方法をさらに紹介する。直接ブリッジ、ほとんどの場合、要素データに直接特定のニューラルネットワークを適用することで構成される。前の段落では、我々は、複合イメージングプロセスで要素データ間の自然な経路(またはブリッジ)を適用して、計測手法を指示する方法について説明した。この段落では、我々は、任意のイメージ再構成アルゴリズムを使用せずに、要素データに直接、監視ありまたは監視なしの深層学習レイヤーを適用した、複合イメージングプロセスの要素データ間、または深層学習に自然経路(またはブリッジ)を適用する方法について説明する。さらに、このレイヤーは数回の測定からデータを収集することができる(ほとんどの場合連続)。このレイヤーの結果は、計測レイヤーまたはオブジェクトレイヤーのいずれかであり、視覚化、認定、および監視に引き続き使用できるイメージまたはマップステップを回避して、さらなる処理への直接入力となります。
また、直接計測法と深層学習との両方のプロセスを組み合わせて、さらに強力でよりパワフルな取得ツールを作製し得る。
本発明に従って説明される方法は、少なくともすべての先行技術の方法がイメージ収集を必須の工程として扱うという点で、これまで説明または示唆されてきたすべての先行技術の方法とは異なる。
Sirat’185特許は、検出光をニューラルネットワークレイヤーの直接入力として使用して、静的または動的な複数の形状(形状は、学習によって事前に決定または取得された基本形状のファミリーの一部である)として、シーンを分類できる深層学習またはニューラルネットワークレイヤーの使用を示唆していない。本発明によれば、生のデータ情報を基本的なオブジェクトとして、計量特性と属性とともに直接構造化するための深層学習レイヤー、これらの基本オブジェクトは、さらなる一般化の適切な基盤である。深層学習の観点と一致するこのアプローチは、本発明で開発された。
Sirat’185特許は、物理的現実に依存しており、我々の例、構造化の概念としてのインフルエンザAウイルスのように、測定されたマップをフルオロフォアの記述子として定義するため、この新しいポジショニングは生物学的現実と一貫性があり、生物学的実体を定義する。
さらに、このメソッドは動的特性に拡張でき、時間依存データとして、またはできればより高レベルの動的パラメータとして取得され得る。要するに、例に戻ると、中間レイヤーは、形態学的な変化なしに、一定の速度で経路に沿って移動する110nmのポイントオブジェクトの存在を決定し得、我々は、次のレイヤーであるオブジェクト分類レイヤーでは、それがインフルエンザAウイルスであると想定する。
提案されたアーキテクチャの追加の利点は、再構成工程を回避することで再構成アーティファクトを回避することである。最高の再構成アルゴリズムでさえ、アーティファクトが発生しやすく、アーティファクトが存在する可能性があることは、生物学者による超解像技術の採用に対する障壁の1つである。さらに悪いことに、多くのアーティファクトが誤って小さなポイントまたはオブジェクトと見なされ、分類および定量化アルゴリズムがこれらのアーティファクトによって損なわれ得る。再構成を回避し、生データの分類と定量化を実行すると、このエラーの原因が完全になくなる。
前述のように、回折限界を超える情報は計測データに存在し、イメージングデータにも存在し得る。この貴重な情報は通常、再構成プロセスによって消去され、この情報を他のすべての情報とは別に処理できないため、一般的な手順を適用せざるを得ず、平均データ用に最適化されるが、これらの特定の場合には適合しない。
非イメージングプロセスによる幾何学的および生物学的情報
非イメージングプロセスによる幾何学的および生物学的情報
Sirat’185特許は、非イメージングプロセスを通じて幾何学的および生物学的情報を学習する方法を示唆していない。このような非イメージングプロセスでは、より高いレベルの情報は、マップを定量化するためにイメージを作成(または再構成)する必要なしに、またはSirat’185特許用語で、汎用学習手順を使用して、測定された要素データから直接収集される。Sirat’185特許は、以下で説明するように、非イメージング直接学習がはるかに高い精度で情報を取得し、高い計算効率を実現し、データを損失しないことを理解していない。さらに、このような学習手順は、以下に説明し、アッベの法則の抜け穴と呼ばれる、光の非存在下で存在するデータを使用する能力を有し得る。
一般的な方法
一般的な方法
本発明の典型的な実施形態によれば、以下の特徴が顕著である。
-名目上の位置での光の分布;投影光の波長は、光応答性材料との非弾性光相互作用を作成できるように選択され、幾何学的形状を埋め込むように特異分布が選択されているため、名目上のパラメータを使用すると、投影光と光応答性材料の非弾性相互作用によって作製された光から測定されるエネルギーはゼロになるであろう。
-アルゴリズム、「逆エネルギー法則」を適用して、エネルギー測定値からパラメータを取得する。
-名目上の位置での光の分布;投影光の波長は、光応答性材料との非弾性光相互作用を作成できるように選択され、幾何学的形状を埋め込むように特異分布が選択されているため、名目上のパラメータを使用すると、投影光と光応答性材料の非弾性相互作用によって作製された光から測定されるエネルギーはゼロになるであろう。
-アルゴリズム、「逆エネルギー法則」を適用して、エネルギー測定値からパラメータを取得する。
本発明による方法は、形状のパラメータを検索するために必要な測定のセットを収集するために、測定のシーケンスを動的にまたは動的ではなく制御する測定ハードウェアおよび測定手順を有利に使用し得る。
光応答性材料は、例えば、蛍光結合に基づく外因性またはいくつかのタンパク質の直接蛍光特性を使用して、またはラマン散乱を使用した、内因性であり得る。
ヒューリスティックな便宜のために、上記の高レベル言語での方法の一般的な記述の後に例を示し、当該例は、ポイントのようなオブジェクトの位置とサイズの同時測定であり、よりわかりやすくするために、ポイントオブジェクトは、前の段落で説明したように、インフルエンザタイプAウイルスに関して説明されている。
一般的な方法は、図2Cに示す2次元の均一な円としてモデル化されたウイルスの最も単純なケースを使用して説明され得る。生物学的オブジェクトはウイルスである。この例では、測定の目標は80~120nmのウイルスの直径を定量化することである。ウイルスは2次元の表面に配置されていると想定されている。
生物学的オブジェクトは、図2Cのように、その位置とウイルスの半径Rとで表されるポイントオブジェクトとしてモデル化されたウイルスである。測定は、生体試料の渦をスキャンできる検流計の2次元オプトメカニカルシステムで構成される測定ハードウェアを使用して、ウイルス上に配置された蛍光分子を励起できる光の渦を投影することで構成され、この蛍光分子は、複数の位置(xi、yi)にポイントオブジェクトの幾何学的形状を埋め込み、分析アルゴリズムまたは反復アルゴリズムを使用して、光検出器でエネルギーを測定し、最小限のエネルギーで位置に収束する。この場合、逆エネルギーの法則は非常に単純であり、位置は最小の位置であり、エネルギーは最小で半径に二次的に依存する(式3)。
一般に、本発明による測定方法は、1または複数の異なる特異分布を使用してゼロ、1次元および2次元の軌跡を検索し、1または複数の単純なパラメータおよびより複雑なまたは複合パラメータを同時に検索する。
ポイントオブジェクトのサイズと位置の測定
ポイントオブジェクトのサイズと位置の測定
本方法の第1実施形態は、形状パラメータを測定するために提示される:二次元でのポイントオブジェクトの位置およびサイズの測定。これは、生物学的オブジェクトの測定で最も一般的なケースの1つである。さらに、ラインの位置と太さの測定に必要な変更を加えて拡張し得、これは、生物学的オブジェクトの測定で広く使用されている別のタスクである。
半径Rが原点に配置され、nDと示されるように蛍光体の密度が均一である、円形の発光オブジェクト(図2Cを参照)を想定し、NE=nDπR2がフルオロフォアの総数であると想定すると、Sirat’185特許に詳細に記載されているような、(v、0)として与えられる渦の位置を平面内で高精度に移動するように適合された光学システムが提供される。本明細書で使用される極座標表記「(m、n)」では、mはz軸に対して指定された横断面内の半径ベクトルを指し、nは所定の軸(図2Cのx)と半径との間の角度を指す。一般性を失うことなく、問題の対称性により、渦はx軸上に位置している、つまり角度はゼロであると仮定する。
位置の関数としての渦の強度は、係数isを介して、渦ヌルと強度が測定される位置との間の距離に二次的に依存する。より具体的には、v>Rの場合(Rは発光オブジェクトの半径)、エネルギーの法則は次のようになる。
エネルギー法則は、2つの独立した成分の合計である。
a.Iv位置に依存し、半径に依存しない、極小点の最小値となるように、この最小値が原点に配置され、NEフルオロフォアが名目上の位置に配置される。
b.IR、位置に依存しない半径依存性。
a.Iv位置に依存し、半径に依存しない、極小点の最小値となるように、この最小値が原点に配置され、NEフルオロフォアが名目上の位置に配置される。
b.IR、位置に依存しない半径依存性。
v=0の名目上の位置では、エネルギーは式(3)で与えられる。逆エネルギーの法則は、エネルギーの2次である。最適なイメージング実験によって得られた同じ5%の特性は、半径の関数としてのエネルギーの2次依存性により、わずか100光子でショットノイズが制限されたシステムで到達し得る。
ポイントオブジェクトのサイズ、位置、楕円率の測定
ポイントオブジェクトのサイズ、位置、楕円率の測定
本発明の第2実施形態では、形状パラメータを測定することができ、ポイントオブジェクトの位置、サイズ、および楕円率を二次元で測定し得る。これは、おそらく既存のパラダイムを使用して実行することができないため、生物学的オブジェクトの測定において最も一般的ではないケースである。
想定
a.楕円形の発光オブジェクト、図2D、それぞれ短軸と長軸aおよびb、
b.前の段落のように極座標ではなく、デカルト座標で(0、y0)によって与えられる分布位置、
c.nDとして表されるフルオロフォアの均一な密度、
d.図3の半月分布を投影する、
e.図3のケース24の半月”分布は、長軸(図2Dのx軸)の方向に合わせられている。
一次近似では、長軸の方向に垂直な方向yの強度分布の2次依存性が生じる。NE=nDπabは、フルオロフォアの総数であり、πabは、楕円の面積であることを示し得る。
a.楕円形の発光オブジェクト、図2D、それぞれ短軸と長軸aおよびb、
b.前の段落のように極座標ではなく、デカルト座標で(0、y0)によって与えられる分布位置、
c.nDとして表されるフルオロフォアの均一な密度、
d.図3の半月分布を投影する、
e.図3のケース24の半月”分布は、長軸(図2Dのx軸)の方向に合わせられている。
一次近似では、長軸の方向に垂直な方向yの強度分布の2次依存性が生じる。NE=nDπabは、フルオロフォアの総数であり、πabは、楕円の面積であることを示し得る。
Sirat’185特許に詳細に説明されているように、(v、0)として与えられる渦の位置を平面内で高精度に移動するように適合された光学システムが提供される。極座標表記では、aはz軸に対して指定された横断面の半径ベクトルを示し、bは所定の軸(図2Cのx)と半径との間の角度を示す。一般性を失うことなく、問題の対称性により、渦はx軸上に位置している、つまり角度はゼロであると仮定する。
分布は、図2Dのx軸である半長軸bに角度調整され、y0だけずれているという仮定の下で、位置yの関数としての分布の強度は、係数isを介して、軸y上の距離に二次的に依存し、xには依存しない。
楕円の方程式は以下によって与えられる。
ここで、与えられた(x、y)デカルト位置で、強度はis(y-y0)2であり、isは2次パラメータである。
特定のx=A位置でのy軸に沿った積分エネルギーは、次の式で与えられる。
ここで、前述のとおり、Aは楕円上に配置され、A=asin(t)である。xの積分は、y0に二次関数的に依存する2つの項、第1の項、Iy0を生成する。
再び式(4)とその導関数dx=bsin(t)dtを使用する。最初の項、Iy0はy0に依存する。
これは、極小点で得られたエネルギーであり、放射フルオロフォアの総数、NE、が原点に位置している。第2項、Iaは、方程式を介して半軸値に依存する。
ここでも式(4)とその導関数dx=bsin(t)dtを使用する。第2項、Iy0は、式(7)を介して半軸に依存する
上記は、楕円の半軸に依存するエネルギーであり、a.短軸(図2Dのy軸)の方向に合わせた、図3のケース24の半月分布を使用した同様の測定では、長軸に応じた項が得られ、また、これら2つの項を比較すると、楕円率を測定し得る。
2つの異なる平面に配置された2点の位置の評価
楕円の方程式は以下によって与えられる。
特定のx=A位置でのy軸に沿った積分エネルギーは、次の式で与えられる。
2つの異なる平面に配置された2点の位置の評価
本発明のさらなる実施形態によれば、空間内の2点の相対位置は、2点が2つの異なる平面に配置されている場合でも、本明細書に記載の技術を使用して測定され得る。
図4を参照すると、2つの異なる平面に配置された2点の相対位置は、実際的な観点からは難しい問題であり、半導体の処理における最も重要な計測ステップの1つであるオーバーレイ計測の中心である。図3のケース02のように三日月を想定すると、この特異分布の軌跡はスパイラル401である。この分布に埋め込まれた幾何学的形状には、らせん形状だけでなく、らせんに沿って配置された複数のポイントも含まれる。2つのポイントが2つの異なる平面403と405にあるが、同じスパイラル上にある場合、スパイラルに沿って1つのポイントの他方に対する相対位置を監視し、2つの異なる平面での2ポイントの位置を理論的に無限の解像度で評価し得る。
円錐回折を使用した方法の実施
円錐回折を使用した方法の実施
本発明の実施形態による方法は、円錐回折を使用して有利に実施することもでき、参考により本明細書に組み込まれるCaron, J., et al,, ’’Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging,’’ Cell Adhesion & Migration 8(5): 430-439 (2014)の教示を使用し得る。
次に、図5を参照して、本発明の一実施形態を説明する。一般に数字500で示される方法は、物理的オブジェクトを特徴付ける特定の次元の幾何学的特徴の固有の幾何学的パラメータの値を決定するために提供される。クレームされた方法を実施するために、上記で詳細に説明したように、CODIMまたは計測アプリケーションハードウェアが提供され(工程501)、特異光分布が物理的オブジェクトに投影される(503)。幾何学的特徴と相互作用した特異光分布によって励起された光は、検出器に衝突するときに検出される(505)。固有の幾何学的パラメータの定量化として、特異エネルギー分布の1または複数の位置で戻りエネルギー分布が識別され、定量化される(507)。最後に、固有の幾何学的パラメータの値は、固有の幾何学的パラメータの値に基づいて決定される(509)。
CODIMイメージングでの標準的な深層学習概念の使用について、図7を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト20は、適切な低ノイズのイメージング検出器22によって検出される一連の局所的な特異分布21によって照らされる。一連のミクロイメージ23(本明細書では「μイメージ」とも呼ばれる)は、適切なアルゴリズム25によって記録および処理されて、再構成された超解像画像10が得られる。いくつかのレイヤー11、12および13を含む深層学習ネットワークが、図6で説明したプロセスと同様のプロセスで、再構成されたイメージに適用される。制御システム24は、取得と処理とを制御および同期するために使用される。
次に、CODIMイメージングでの直接深層学習の使用について、図8を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト20は、適切な低ノイズのイメージング検出器22(本明細書では「検出器」とも呼ばれる)によって検出される一連の局所的な特異分布21によって照らされる。一連のマイクロイメージ23は、再構成せずに、深層学習レイヤー26に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー12および13は、最初のレイヤーの結果に適用される。制御システム24は、取得と処理とを制御および同期するために使用される。
複合イメージングシステムでの標準的な深層学習概念の使用について、図9を参照して説明する。ヒューリスティックな便宜のために猫としてグラフィカルに表される一般的なオブジェクト120は、検出器22によって検出される一連の局所化された特異分布または規則的な分布21によって照らされる。本明細書では「中間画像」とも呼ばれる一連のマイクロイメージ23は、猫の絵の一部のサブイメージとして表されているが、これは単なるグラフィカルな人工物である。一連のマイクロイメージ23は、適切なアルゴリズム25によって記録および処理され、再構成された超解像画像10が生成される。いくつかのレイヤー11、12および13を含む深層学習ネットワークが、図6で説明したプロセスと同様のプロセスで、再構成されたイメージに適用される。制御システム24は、取得と処理とを制御および同期するために使用される。
次に、一般的な複合イメージングのケースでの直接深層学習の使用について、図10を参照して説明する。猫として表される一般的なオブジェクト120は、検出器22によって検出された一連の局所化された特異分布または規則的な分布21によって照らされる。一連のマイクロイメージ23、または中間イメージは、猫の絵の一部のサブイメージとして表されるが、これは単なるグラフィカルな人工物である。一連のマイクロイメージは、再構成せずに、深層学習レイヤー26に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー12および13は、最初のレイヤーの結果に適用される。制御システム24は、取得と処理とを制御および同期するために使用される。
CODIMイメージングでの制御された直接深層学習の使用について、図11を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト20は、一連の局所化された特異分布21によって照らされ、それらの位置、強度、タイプ、持続時間、およびタイミングを含む分布のシーケンスは、任意のタイプの外部情報30、および/または処理からの部分的または最終的な情報に基づいて、制御システムによって決定される。異なる光分布によって照らされたオブジェクトによって放射される光分布は、適切な低ノイズのイメージング検出器22によって検出される。一連のマイクロイメージ、23は、再構成せずに、深層学習レイヤー26に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー12および13は、最初のレイヤーの結果に適用される。制御システム24は、取得と処理とを制御および同期し、分布のシーケンスを決定するために使用される。
次に、一般的な複合イメージングのケースでの制御された直接深層学習の使用について、図12を参照して説明する。猫としてグラフィカルに表されている一般的なオブジェクト120は、一連の局所化された特異分布または正規分布21によって照らされる。一連のマイクロイメージ23または中間イメージは、猫の絵の一部のサブイメージとして表されるが、これは単なるグラフィカルな人工物である。それらの位置、強度、タイプ、持続時間、およびタイミングを含む分布のシーケンスは、任意のタイプの外部情報30、および/または処理からの部分的または最終的な情報に基づいて、制御システムによって決定される。異なる光分布によって照らされたオブジェクトによって放射される光分布は、検出器22によって検出される。一連のマイクロイメージは、再構成せずに、深層学習レイヤー、26に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー12および13は、最初のレイヤーの結果に適用される。制御システム24は、取得と処理とを制御および同期し、分布のシーケンスを決定するために使用される。
深層学習を使用してシーンを分類する
深層学習を使用してシーンを分類する
本発明の実施形態による方法に一般的に関連する特徴には以下が含まれる。
-複数の発光生物学的オブジェクトからなり、各オブジェクトは発光幾何学的形状としてモデル化され、幾何学的形状はパラメータの適切なセットによって定量化される、物理的または生物学的シーン、
-Caron2014で説明したイメージングケースや上記の計測ケースなどのハードウェアセットアップ、
-規則的または疑似規則的グリッド上の名目上の位置での特異分布の投影からなる各測定、「イメージングケース」と呼ばれる、またはカスタムグリッド上、「計量ケース」と呼ばれ、計量の場合、特異分布はそれらが幾何学的形状を埋め込むように選択されるため、名目上のパラメータでは、測定されるエネルギーはゼロになる、測定のセット、
-幾何学的特徴と相互作用し、検出光を構成する光がピクセル化されているかどうかにかかわらず、検出器に衝突する特異光分布から光を検出する、
-シーンを静的または動的な複数の形状として分類し得、当該形状は、学習によって事前に決定または取得された基本形状のファミリーの一部である、ニューラルネットワークレイヤーの直接入力としての検出光を直接使用する深層学習またはニューラルネットワークレイヤー。
-複数の発光生物学的オブジェクトからなり、各オブジェクトは発光幾何学的形状としてモデル化され、幾何学的形状はパラメータの適切なセットによって定量化される、物理的または生物学的シーン、
-Caron2014で説明したイメージングケースや上記の計測ケースなどのハードウェアセットアップ、
-規則的または疑似規則的グリッド上の名目上の位置での特異分布の投影からなる各測定、「イメージングケース」と呼ばれる、またはカスタムグリッド上、「計量ケース」と呼ばれ、計量の場合、特異分布はそれらが幾何学的形状を埋め込むように選択されるため、名目上のパラメータでは、測定されるエネルギーはゼロになる、測定のセット、
-幾何学的特徴と相互作用し、検出光を構成する光がピクセル化されているかどうかにかかわらず、検出器に衝突する特異光分布から光を検出する、
-シーンを静的または動的な複数の形状として分類し得、当該形状は、学習によって事前に決定または取得された基本形状のファミリーの一部である、ニューラルネットワークレイヤーの直接入力としての検出光を直接使用する深層学習またはニューラルネットワークレイヤー。
本発明の他の実施形態によれば、標準または深層学習手順による要素データの分析により、形状のパラメータを取得するために必要な改善された測定セットを収集するために、直接および動的な方法は、制御ハードウェアと制御手順とを提供し、動的または非動的に、一連の測定と検出光を制御し得る。
深層学習の実施形態の詳細
深層学習の実施形態の詳細
本発明の実施形態によれば、Caron2014で説明されているCODIM-円錐解析顕微鏡法、または前述の計測法を実装するハードウェアによって取得されたイメージングおよび計測データを分析するために、深層学習の特異性と利点とを使用する方法が提供される。
これらの方法に基づいて、幾何学的特徴の光学測定のための新しいシステムが本明細書で説明され、より詳細には、光学系および最小光子束によって課せられる回折限界よりも高い解像度を伴う測定のための方法が説明される。
本発明の一実施形態は、以下の実施例によって説明することができ、この実施例は説明のためだけに使用されており、テスト済みの実験ケースを表すことを意図したものではない。発光オブジェクトは生物学的オブジェクトであると想定され、この生物学的オブジェクトは、説明のために、図2Aに概略的に示されている同じインフルエンザタイプAウイルス(IAV)であると想定されている。このウイルスは80~120nmの典型的なサイズを持つことが知られており、ほとんどの場合球形であることが知られているが、場合によっては糸状であり得る。参考により本明細書に組み込まれるBadham et al., “Filamentous Influenza Viruses,” Current clinical microbiology reports, vol. 3, pp. 155-61 (2016)は、「ヒトの臨床感染におけるIAV形態の生物学的重要性は大きな関心事である。」と述べている。IAVウイルスは、いくつかの適切な蛍光タンパク質でその体積がすべて均一にマークされていると想定されている。いくつかのモデルを使用して、ウイルスを説明できる。ウイルスは、楕円(図2D)としてモデル化されたポイントオブジェクトとして記述され、パラメータは、デカルト座標に関して、半短軸a、半長軸b、および長軸の角度θである。
本発明の実施形態によれば、潜在的に、ウイルスの毒性を評価するために、ウイルスの位置および形態の動的変化が評価される。
CODIM 実施形態
CODIM 実施形態
深層学習を使用したイメージングには、Caron2014で説明されているCODIMシステムを適用できるが、計測学では、計測アプリケーションで説明されているセットアップが好ましい。
本発明の実施形態によれば、Caron2014で説明されているCODIM-円錐解析顕微鏡法によって取得されたイメージングおよび計測データを分析するために、深層学習の特異性と利点とを使用する方法が提供される。
ニュートラルネットワーク実施形態
ニュートラルネットワーク実施形態
参考により本明細書に組み込まれるSpiliotis et al., “ Priming for destruction: septins at the crossroads of mitochondrial fission and bacterial autophagy,” EMBO Reports, vol. 17, pp. 935-37 (2016) (「Spiliotis 2016」)は、以下を教示する。
ミトコンドリアは、細胞の生存、プログラムされた細胞死、およびオートファジーに不可欠な細胞小器官である。それらは分裂と融合のサイクルを経て、感染性病原体によって破壊され、多くのヒトの病気で変化する。
Spiliotis 2016の935。
参考により本明細書に組み込まれるPagliuso et al., “A role for septin 2 in Drp1-mediated mitochondrial fission”, EMBO Reports, vol. 17, pp. 857-73 (2016) (“Pagliuso 2016”)は、以下を示す。
ミトコンドリアの分裂を調節すると思われる複数のメカニズムの中で・・・セプチン2は、ミトコンドリアの収縮を媒介することにより重要な役割を果たす。
Pagliuso 2016、要約、強調追加。
この研究では、BioAxial CODIMシステムを使用して、データを取得して画像を再構成することにより、ミトコンドリアのイメージを取得した。
ミトコンドリアは、細胞の生存、プログラムされた細胞死、およびオートファジーに不可欠な細胞小器官である。それらは分裂と融合のサイクルを経て、感染性病原体によって破壊され、多くのヒトの病気で変化する。
Spiliotis 2016の935。
参考により本明細書に組み込まれるPagliuso et al., “A role for septin 2 in Drp1-mediated mitochondrial fission”, EMBO Reports, vol. 17, pp. 857-73 (2016) (“Pagliuso 2016”)は、以下を示す。
ミトコンドリアの分裂を調節すると思われる複数のメカニズムの中で・・・セプチン2は、ミトコンドリアの収縮を媒介することにより重要な役割を果たす。
Pagliuso 2016、要約、強調追加。
この研究では、BioAxial CODIMシステムを使用して、データを取得して画像を再構成することにより、ミトコンドリアのイメージを取得した。
ミトコンドリアの再構成されたイメージは、図10に示すように、生物学的状態に関する情報を収集するために、深層学習ネットワークの入力として使用でき、あるいは、図11に示すように、収集したデータを直接深層学習ネットワークに供給し得る。
本明細書に記載された本発明の実施形態は、単なる例示であることを意図し、変形および修正は、当業者には明らかであろう。そのような変形および修正はすべて、添付の特許請求の範囲で定義される本発明の範囲内にあるものとする。
Claims (3)
- CODIMハードウェアによって取得されたイメージデータを用いた深層学習の方法であって、
a. イメージング検出器により、一連の局所化された特異分布によって試料を検出するこ
とと、
b. 当該検出は、異なる光分布によって照らされた試料によって放射される光分布を検出
することにより分類情報を取得することと、
c. 当該取得される分類情報を使用して計測ハードウェアを駆動して試料の計測を行うことと、
d. 計測ハードウェアを駆動して計測方法を実施するための制御ハードウェアおよび制御手順を提供することと、を含む、当該深層学習の方法。 - 前記試料が動的な試料である、請求項1に記載の方法。
- 前記試料が静的な試料である、請求項1に記載の方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762551906P | 2017-08-30 | 2017-08-30 | |
US201762551913P | 2017-08-30 | 2017-08-30 | |
US62/551,906 | 2017-08-30 | ||
US62/551,913 | 2017-08-30 | ||
PCT/IB2018/001129 WO2019043458A2 (en) | 2017-08-30 | 2018-08-30 | SUPER-RESOLUTION METROLOGY METHODS BASED ON SINGULAR DISTRIBUTIONS AND DEEP LEARNING |
JP2020506892A JP2020533563A (ja) | 2017-08-30 | 2018-08-30 | 特異分布と深層学習とに基づく超解像計測法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020506892A Division JP2020533563A (ja) | 2017-08-30 | 2018-08-30 | 特異分布と深層学習とに基づく超解像計測法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023179460A true JP2023179460A (ja) | 2023-12-19 |
Family
ID=64453518
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020506892A Pending JP2020533563A (ja) | 2017-08-30 | 2018-08-30 | 特異分布と深層学習とに基づく超解像計測法 |
JP2023145711A Pending JP2023179460A (ja) | 2017-08-30 | 2023-09-08 | 特異分布と深層学習とに基づく超解像計測法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020506892A Pending JP2020533563A (ja) | 2017-08-30 | 2018-08-30 | 特異分布と深層学習とに基づく超解像計測法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11694453B2 (ja) |
EP (1) | EP3676753A2 (ja) |
JP (2) | JP2020533563A (ja) |
KR (2) | KR20240042123A (ja) |
CN (1) | CN111149110A (ja) |
WO (1) | WO2019043458A2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11567010B2 (en) | 2019-12-02 | 2023-01-31 | Bioaxial Sas | Dark tracking, hybrid method, conical diffraction microscopy, and dark addressing |
US20230168084A1 (en) * | 2021-11-29 | 2023-06-01 | Raytheon BBN Technologies, Corp. | Estimating distances between multiple point image sources with quantum imaging |
EP4215970A1 (en) | 2022-01-21 | 2023-07-26 | Leica Microsystems CMS GmbH | Single-particle localization microscope |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6724486B1 (en) * | 1999-04-28 | 2004-04-20 | Zygo Corporation | Helium- Neon laser light source generating two harmonically related, single- frequency wavelengths for use in displacement and dispersion measuring interferometry |
IL156856A (en) | 2003-07-09 | 2011-11-30 | Joseph Shamir | Method for particle size and concentration measurement |
US7257333B2 (en) * | 2005-01-06 | 2007-08-14 | Raytheon Company | Dynamic control of planck radiation in photonic crystals |
EP2084488B1 (en) | 2006-10-20 | 2017-03-22 | Bioaxial | Optical devices based on internal conical diffraction |
WO2009085218A1 (en) * | 2007-12-21 | 2009-07-09 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution in three dimensions |
AU2010308596A1 (en) * | 2009-10-19 | 2012-06-07 | Flatfrog Laboratories Ab | Determining touch data for one or more objects on a touch surface |
CN101714262B (zh) * | 2009-12-10 | 2011-12-21 | 北京大学 | 单幅图像的三维场景重建方法 |
FR2966258B1 (fr) | 2010-10-15 | 2013-05-03 | Bioaxial | Système de microscopie de superresolution de fluorescence et méthode pour des applications biologiques |
FR2989472B1 (fr) * | 2012-04-13 | 2015-09-25 | Bioaxial | Procede et dispositif optique |
EP4220194A1 (fr) * | 2012-04-13 | 2023-08-02 | Bioaxial SAS | Procede et dispositif optique |
US9535018B2 (en) * | 2013-07-08 | 2017-01-03 | Kla-Tencor Corporation | Combined x-ray and optical metrology |
US20170140528A1 (en) * | 2014-01-25 | 2017-05-18 | Amir Aharon Handzel | Automated histological diagnosis of bacterial infection using image analysis |
WO2016092161A1 (fr) | 2014-12-09 | 2016-06-16 | Bioaxial Sas | Procédé et dispositif de mesure optique |
US10921255B2 (en) | 2014-12-09 | 2021-02-16 | Bioaxial Sas | Optical measuring device and process |
-
2018
- 2018-08-30 JP JP2020506892A patent/JP2020533563A/ja active Pending
- 2018-08-30 EP EP18807689.7A patent/EP3676753A2/en active Pending
- 2018-08-30 KR KR1020247008666A patent/KR20240042123A/ko not_active Application Discontinuation
- 2018-08-30 KR KR1020207008920A patent/KR102651032B1/ko active IP Right Grant
- 2018-08-30 US US16/640,288 patent/US11694453B2/en active Active
- 2018-08-30 CN CN201880063588.1A patent/CN111149110A/zh active Pending
- 2018-08-30 WO PCT/IB2018/001129 patent/WO2019043458A2/en unknown
-
2023
- 2023-06-27 US US18/342,184 patent/US20240062562A1/en active Pending
- 2023-09-08 JP JP2023145711A patent/JP2023179460A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020533563A (ja) | 2020-11-19 |
KR20200047622A (ko) | 2020-05-07 |
US11694453B2 (en) | 2023-07-04 |
US20210081701A1 (en) | 2021-03-18 |
US20240062562A1 (en) | 2024-02-22 |
KR102651032B1 (ko) | 2024-03-25 |
EP3676753A2 (en) | 2020-07-08 |
KR20240042123A (ko) | 2024-04-01 |
CN111149110A (zh) | 2020-05-12 |
WO2019043458A2 (en) | 2019-03-07 |
WO2019043458A3 (en) | 2019-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023179460A (ja) | 特異分布と深層学習とに基づく超解像計測法 | |
TWI734724B (zh) | 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體 | |
TWI731198B (zh) | 用於以迴旋神經網路為基礎之缺陷檢測之資料擴增 | |
JP2020118696A (ja) | 光学式検査及び光学式レビューからの欠陥属性に基づく電子ビームレビューのための欠陥サンプリング | |
Sarder et al. | Deconvolution methods for 3-D fluorescence microscopy images | |
US8155409B2 (en) | Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions | |
JP7170037B2 (ja) | 大オフセットダイ・ダイ検査用複数段階画像整列方法 | |
US9117273B2 (en) | Method and apparatus for single-particle localization using wavelet analysis | |
TW201734441A (zh) | 使用影像重建以用於缺陷偵測之系統及方法 | |
JP2013515958A (ja) | 高密度の確率的サンプリング撮像のシステムおよび方法 | |
CN114113020B (zh) | 一种基于多重信号分类算法的激光扫描超分辨显微成像装置、方法、设备及存储介质 | |
JP2022542900A (ja) | Sem画像をレンダリングし、3dデザインを用いて基板の欠陥撮像条件を予測するためのシステムと方法 | |
US20220262087A1 (en) | Method and apparatus for super-resolution optical imaging | |
EP2110697B1 (en) | Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions | |
US11422090B2 (en) | Phase plate for high precision wavelength extraction in a microscope | |
TWI754764B (zh) | 由低解析度影像產生高解析度影像以用於半導體應用 | |
Drobczynski et al. | Spectral analysis by a video camera in a holographic optical tweezers setup | |
Ovesný | Computational methods in single molecule localization microscopy | |
Sarder et al. | Estimating locations of quantum-dot-encoded microparticles from ultra-high density 3-D microarrays | |
US11480515B2 (en) | Method and apparatus for characterizing an object | |
Keller et al. | Super‐Resolution Data Analysis | |
Steinbrener et al. | Three-dimensional fluorescence imaging with an automated light-field microscope | |
Kulaitis et al. | A Minimax Testing Perspective on Spatial Statistical Resolution in Microscopy | |
CN117111324A (zh) | 基于近场光的纳米尺度成像系统、三维成像方法和装置 | |
Backová | Bioinformatical analysis of the complex multidimensional microscopy datasets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240410 |